智能 SQL 分析系统(我的新作品)

2023-02-11 09:29:51 +08:00
 Braisdom

视频: https://www.youtube.com/watch?v=18_ykWVmQ08

###技术特点:

15497 次点击
所在节点    程序员
122 条回复
Braisdom
2023-05-16 16:19:48 +08:00
@yinyuncan6 可视化这块正在完善,应该很快就能发布了。
loading
2023-05-16 16:24:00 +08:00
目前基于 chatgpt 的都要联网运行,内网应用基本无缘。
以后技术壁垒会越来越高,软件无国界,但人有。
Braisdom
2023-05-16 16:26:31 +08:00
@loading 我们正在基于 Facebook 的 LLaMA 做自己的服务,就不用担心那玩意了。哈哈
winterx
2023-05-16 16:41:16 +08:00
期待楼主成果
phatzhong24
2023-06-05 15:08:49 +08:00
好奇问下,后端用的什么语言实现的?
Braisdom
2023-06-05 15:17:44 +08:00
@phatzhong24 后端用 Python
wdmcode
2023-06-05 15:48:16 +08:00
@Braisdom @leeg810312 感觉 2 位应该都是数据行业深耕多年的大佬了,我有几个问题也想咨询下
1. 除去软件互联网公司有实力搞自己的数据平台,有一定信息化基础的非互联网公司内部各个系统林立,错综复杂,Agile Query 这个软件如何解决数据清洗、数据治理以及指标统一的问题
2. 你们讨论中( ODS ,DW ,ADS ,宽表,数据血缘,数据集市等, 这些概念本身就是受限技术才衍生出来,本来就不应该存在)我个人不是很赞同这句话,数据分层比较大的作用我觉得是数据治理,宽表的较大的作用是方便上层查询、统一输出指标,这些其实不是技术限制,而是为了更好的服务业务。
Autmn
2023-06-05 16:55:08 +08:00
m 一个,等发布了看看
Braisdom
2023-06-05 17:00:36 +08:00
@wdmcode 我分别回复一下:
第一点,数据清洗不是 Agile Query 的职责,Agile Query 只是解决数据的灵活计算,指标定义只是 Agile Query 中的一个公式而已,可能和传统 BI 系统的指标统一可能概念上不一样。

第二点,Agile Query 会根据表之间的关系自动 Join ,自动生成最优的查询 SQL ,数据工程师不需要写 SQL ,所以宽表存在的意义就不是那么大了,最近几年 MPP 型数据库发展的非常快,计算效率也越来越高,所谓 ODS ,ADS ,宽表,数据血缘,数据集市 这一堆概念产生的背景是:因为传统 BI 需要写复杂 SQL ,而且之前计算效率非常低效,如果这两个痛点都由 Agile Query 解决了,这些概念也就不存在了。
Braisdom
2023-06-05 17:20:07 +08:00
@wdmcode 至于数据治理,这属于一个新名字,不太理解到底是做什么的。
Braisdom
2023-06-05 17:34:45 +08:00
@Autmn
@wdmcode
目前系统已经具备演示条件,有兴趣可以加我微信:18901845760
Arainzhe
2023-06-21 09:28:00 +08:00
关注一下
ZGame
2023-06-21 09:31:09 +08:00
我认为还是需要和 bi 看板集成起来,这是解决了一个痛点,但是如果还是要借助其他平台去生成页面的话,我估计会比较打击使用的积极性
wmz000
2023-06-21 09:32:37 +08:00
@Braisdom #11 我之前公司就是做这种 bi 的,想问下你们底层是做了不同数据库的兼容么?像 ClickHouse 这种呢?感觉有点就是展示界面有点过于简洁了,给开发看还 ok ,给老板和客户看他们可能会觉点有点不清晰生动,大家都是各种图嘎嘎炫,哈哈
encro
2023-06-21 09:42:18 +08:00
@Braisdom

直接在原生数据库上进行查询


不好吧,不怕搞死原数据库?
Braisdom
2023-06-21 09:46:01 +08:00
@encro 数据库连接是可以选择的,会不会搞死数据库,可以根据自身的需要。
encro
2023-06-21 09:46:55 +08:00
@yinyuncan6

你用下 superset 就满足了。。。
Braisdom
2023-06-21 10:02:57 +08:00
@encro 哈哈,superset 多表查询是需要写 SQL 的,而 Agile Query 不需要写 SQL 自动多表查询。
winglight2016
2023-06-21 11:27:27 +08:00
我们才几千万的数据,有些报表 SQL 就非常慢了,lz 这个方案,不建中间表是怎么解决性能问题的?
Braisdom
2023-06-21 14:35:22 +08:00
@winglight2016 那是数据库选型的问题,针对 SQL 的结果进行 1 分钟,5 分钟的缓存就可以解决。异步执行

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/915090

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX