V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Braisdom
V2EX  ›  程序员

智能 SQL 分析系统(我的新作品)

  Braisdom ·
braisdom · 2023-02-11 09:29:51 +08:00 · 15334 次点击
这是一个创建于 658 天前的主题,其中的信息可能已经有所发展或是发生改变。

视频: https://www.youtube.com/watch?v=18_ykWVmQ08

###技术特点:

  • 根据关键字智能生成各类数据库 SQL ,自动计算多表查询
  • 支持复杂公式,实现复杂分析
  • 支持种类可视化
第 1 条附言  ·  2023-05-09 10:35:17 +08:00
重要特性演示:
第 2 条附言  ·  2023-05-09 10:36:18 +08:00
大数量场景下,性能测试:

第 3 条附言  ·  2023-05-15 11:00:45 +08:00

最近在写BP,整理了Agile Query 的主要优势:

  • 我们设计了FlatQL 语言,一种高级数据查询语言,其目的是降低数据计算的门槛,让数据分析师也能轻松地进行数据分析和复杂计算。

  • 基于ChatGPT 理解自然语言,智能生成复杂计算公式和可视化参数,优化交互体验。

  • 依托MPP 型数据库的计算性能,以零编码的形式智能优化查询SQL,提升整体计算效率。

122 条回复    2023-06-22 10:35:52 +08:00
1  2  
Braisdom
    101
Braisdom  
OP
   2023-05-16 16:19:48 +08:00
@yinyuncan6 可视化这块正在完善,应该很快就能发布了。
loading
    102
loading  
   2023-05-16 16:24:00 +08:00
目前基于 chatgpt 的都要联网运行,内网应用基本无缘。
以后技术壁垒会越来越高,软件无国界,但人有。
Braisdom
    103
Braisdom  
OP
   2023-05-16 16:26:31 +08:00
@loading 我们正在基于 Facebook 的 LLaMA 做自己的服务,就不用担心那玩意了。哈哈
winterx
    104
winterx  
   2023-05-16 16:41:16 +08:00
期待楼主成果
phatzhong24
    105
phatzhong24  
   2023-06-05 15:08:49 +08:00
好奇问下,后端用的什么语言实现的?
Braisdom
    106
Braisdom  
OP
   2023-06-05 15:17:44 +08:00
@phatzhong24 后端用 Python
wdmcode
    107
wdmcode  
   2023-06-05 15:48:16 +08:00
@Braisdom @leeg810312 感觉 2 位应该都是数据行业深耕多年的大佬了,我有几个问题也想咨询下
1. 除去软件互联网公司有实力搞自己的数据平台,有一定信息化基础的非互联网公司内部各个系统林立,错综复杂,Agile Query 这个软件如何解决数据清洗、数据治理以及指标统一的问题
2. 你们讨论中( ODS ,DW ,ADS ,宽表,数据血缘,数据集市等, 这些概念本身就是受限技术才衍生出来,本来就不应该存在)我个人不是很赞同这句话,数据分层比较大的作用我觉得是数据治理,宽表的较大的作用是方便上层查询、统一输出指标,这些其实不是技术限制,而是为了更好的服务业务。
Autmn
    108
Autmn  
   2023-06-05 16:55:08 +08:00
m 一个,等发布了看看
Braisdom
    109
Braisdom  
OP
   2023-06-05 17:00:36 +08:00
@wdmcode 我分别回复一下:
第一点,数据清洗不是 Agile Query 的职责,Agile Query 只是解决数据的灵活计算,指标定义只是 Agile Query 中的一个公式而已,可能和传统 BI 系统的指标统一可能概念上不一样。

第二点,Agile Query 会根据表之间的关系自动 Join ,自动生成最优的查询 SQL ,数据工程师不需要写 SQL ,所以宽表存在的意义就不是那么大了,最近几年 MPP 型数据库发展的非常快,计算效率也越来越高,所谓 ODS ,ADS ,宽表,数据血缘,数据集市 这一堆概念产生的背景是:因为传统 BI 需要写复杂 SQL ,而且之前计算效率非常低效,如果这两个痛点都由 Agile Query 解决了,这些概念也就不存在了。
Braisdom
    110
Braisdom  
OP
   2023-06-05 17:20:07 +08:00
@wdmcode 至于数据治理,这属于一个新名字,不太理解到底是做什么的。
Braisdom
    111
Braisdom  
OP
   2023-06-05 17:34:45 +08:00
@Autmn
@wdmcode
目前系统已经具备演示条件,有兴趣可以加我微信:18901845760
Arainzhe
    112
Arainzhe  
   2023-06-21 09:28:00 +08:00
关注一下
ZGame
    113
ZGame  
   2023-06-21 09:31:09 +08:00
我认为还是需要和 bi 看板集成起来,这是解决了一个痛点,但是如果还是要借助其他平台去生成页面的话,我估计会比较打击使用的积极性
wmz000
    114
wmz000  
   2023-06-21 09:32:37 +08:00
@Braisdom #11 我之前公司就是做这种 bi 的,想问下你们底层是做了不同数据库的兼容么?像 ClickHouse 这种呢?感觉有点就是展示界面有点过于简洁了,给开发看还 ok ,给老板和客户看他们可能会觉点有点不清晰生动,大家都是各种图嘎嘎炫,哈哈
encro
    115
encro  
   2023-06-21 09:42:18 +08:00
@Braisdom

直接在原生数据库上进行查询


不好吧,不怕搞死原数据库?
Braisdom
    116
Braisdom  
OP
   2023-06-21 09:46:01 +08:00
@encro 数据库连接是可以选择的,会不会搞死数据库,可以根据自身的需要。
encro
    117
encro  
   2023-06-21 09:46:55 +08:00
@yinyuncan6

你用下 superset 就满足了。。。
Braisdom
    118
Braisdom  
OP
   2023-06-21 10:02:57 +08:00
@encro 哈哈,superset 多表查询是需要写 SQL 的,而 Agile Query 不需要写 SQL 自动多表查询。
winglight2016
    119
winglight2016  
   2023-06-21 11:27:27 +08:00
我们才几千万的数据,有些报表 SQL 就非常慢了,lz 这个方案,不建中间表是怎么解决性能问题的?
Braisdom
    120
Braisdom  
OP
   2023-06-21 14:35:22 +08:00
@winglight2016 那是数据库选型的问题,针对 SQL 的结果进行 1 分钟,5 分钟的缓存就可以解决。异步执行
harrozze
    121
harrozze  
   2023-06-22 10:06:25 +08:00
@Braisdom #110 数据治理解决数据可用、规范化(命名、取值、精度等)、安全(鉴权、防护等),这一大堆问题。其中有一部分是制度层面,有一部分是安全,我觉得“数据治理”这个话题太大,也不是 Agile Query 要解决的问题,Agile Query 把自己的主要功能完善好就好。
Braisdom
    122
Braisdom  
OP
   2023-06-22 10:35:52 +08:00
@harrozze 非常同意,Agile Query 有自己的边界,将跨表查询的 SQL 编译,其它的特性会适当的加上。
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   980 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 20:03 · PVG 04:03 · LAX 12:03 · JFK 15:03
Developed with CodeLauncher
♥ Do have faith in what you're doing.