智能 SQL 分析系统(我的新作品)

2023-02-11 09:29:51 +08:00
 Braisdom

视频: https://www.youtube.com/watch?v=18_ykWVmQ08

###技术特点:

15476 次点击
所在节点    程序员
122 条回复
SiuRayyy
2023-02-11 21:30:29 +08:00
关注一下
Braisdom
2023-02-11 21:31:45 +08:00
@beneo 这些 BI 我都用过,也研究过他们的实现方案,基本上都是通过宽表的方式解决的。网易有数,帆软 这两个我特别仔细的研究过,很难做到开箱即用,前期都需要做很多工作。
xmh51
2023-02-11 21:32:14 +08:00
@Braisdom 提几个问题,希望你不熬介意,有接触过亿级别数据量公司的具体诉求吗?市场规模有多大?他们正在使用的产品是什么?出于什么原因,这些公司会使用 bi 产品?这些核心功能交互是怎么样的?准备投入多少成本进来开发?你有信心说服客户更换系统吗?你的核心优势是什么?
恕我直言,你认为两个痛点,已经有很多的可视化解决方案了
另外,稍微大的公司是不会让你裸连 sql 服务器的,不建设 bi 平台,怎么访问 sql 服务器?
bi 产品不在于技术,不是拼谁的刀快,而是拼厚度,深度,这个积累的成本非常高。
Braisdom
2023-02-11 21:34:25 +08:00
@beneo 还有用户端输入的不是 SQL ,而是任意关系的几十张表中的列,或者 count, sum 聚合,还有各种多表的计算表达式映射的中文指标。生成的 SQL 中会有大量子查询解决 overcounting 问题,不是简单的 join
xmh51
2023-02-11 21:38:24 +08:00
@Braisdom 有想过为什么没有办法做到开箱即用吗? bi 不像基础架构类似的组件,简洁优雅,直面客户的产品,尤其是大客户的业务产品的复杂度都不会低,希望你有准备。
Braisdom
2023-02-11 21:40:23 +08:00
@xmh51
1 )我之前的公司是个很小公司,做零售数据业务的,正常分析的数据差不多 20 亿左右吧。后面换了一个做招聘数据分析
的公司,数据也过亿了。
2 )我的 Agile Query 是个开箱即用的,不需要二次开发,直接连接上数据库就可以进行各种复杂分析。
3 )数据分析和正常的业务完全可以分开的,通过 CDC 实时同步一份进行分析。不存在安全问题。
4 )技术的发展是降低开发、维护工作量,充分满足灵活的业务发展,以及更便宜的价格。
Braisdom
2023-02-11 21:42:54 +08:00
@xmh51 目前我是按最复杂的分析场景设计的,当然后面还会遇到很多挑战,一点一点迭代解决。就像 typescript 编译成 javascript 一下,我将简单,容易生成的表达式,编译成不同数据库的 SQL 一样的原理。
xmh51
2023-02-11 21:43:31 +08:00
@Braisdom 我说一个现实场景吧,我司的 bi 产品库表权限要求到字段
xmh51
2023-02-11 21:44:47 +08:00
@Braisdom 不同的人,在 bi 产品拥有的库表字段权限是不一样的
Braisdom
2023-02-11 21:48:09 +08:00
@xmh51 这块我之前就设计过,后面录个视频给你看一下,Agile Query 本身是有权限控制的,不同人看到的指标和列是不一样的,管理员会在 Agile Query 里创建不的 Schema ,Schema 中包含不同的列和字段 ,然后分配给不同的人使用。
xmh51
2023-02-11 21:50:01 +08:00
@Braisdom 越小的公司,越不规范。所以你对大公司的需求存在脱节的问题,建议多调研调研。
xmh51
2023-02-11 21:51:02 +08:00
@Braisdom 不是说没有 bi 平台吗? 有管理员有页面在线上环境部署,不叫 bi 产品叫啥?
Braisdom
2023-02-11 21:55:11 +08:00
@xmh51 感谢提醒,大公司也呆过,产品先上线,先落地。
xmh51
2023-02-11 21:58:07 +08:00
@Braisdom 多想下我提的那几个问题,问题很尖锐,希望不要介意,祝你成功。
Braisdom
2023-02-11 21:58:58 +08:00
@xmh51 产品上线后,希望你能提更多问题,不断优化。感谢
beneo
2023-02-11 22:07:10 +08:00
@Braisdom 你这个还要 CDC ,支持几个数据源的 CDC 呢?还要开箱即用,那这个工程量有多大,没团队么,你自己一个人?
Braisdom
2023-02-11 22:08:17 +08:00
@beneo 不需要 CDC ,你可以直接连接到数据库上分析。
lmq2582609
2023-02-11 22:09:08 +08:00
请教大佬,前端页面是用什么框架,看着蛮不错的
bojue
2023-02-11 22:11:17 +08:00
@lmq2582609 #58 前端和框架没关系吧,你要说数据血缘图的话 gojs 可以实现
1044523901
2023-02-11 22:24:38 +08:00
niubi

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/915090

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX