大佬们进来帮帮忙!如何从 0-1 实现一个 BI 系统

2023-01-02 21:18:13 +08:00
 dtgxx
今年团队打算实现一个 BI 大数据分析平台,团队人不多,都 1-2 年经验,主要做 hadoop spark flink 这种的大数据开发工作,由于项目太多,而且项目都比较类似,接入数据源、处理分析、输出应用。
所以就想做一个通用化的平台,业务场景也不复杂,老板给时间让我们自研,所以不考虑使用现成的 BI 产品。

但是我们对这个都没啥经验,无从下手,前些天看了网易有数,能实现有个简易版的网易有数这种就百分之百可以满足需求了,对于技术这块,有开源的产品可以借鉴吗?或者我们应该储备哪些知识点?都有哪些环节,如何开展呢?

因为要讲图形化拖拽转化为代码逻辑,这块我就不知道是如何实现了,希望大佬们多给支支招!
1934 次点击
所在节点    问与答
11 条回复
xingdu
2023-01-02 21:32:54 +08:00
apache superset
就是搞这种拖拉拽生成图表的,只是后端是 python 写的,不确定二次开发的成本有多大。
shinyzhu
2023-01-02 21:41:30 +08:00
现在做个 BI 也很简单了,不像之前还要做一个 EDW 。

楼上提到的 superset 是一个很好的选择,配套的你把数据流水线弄好就行,推荐 Airflow ,同样是开源项目的。然后用一套 web 承载整个 BI 就可以了。
512357301
2023-01-03 00:40:18 +08:00
真心建议,采购吧,十万预算也可以好好挑挑了。
备选方案是用市面上的各种低代码平台搭建,不用很高深,让运营能快速上手就行
haimianbihdata
2023-01-03 08:08:22 +08:00
推荐帆软
wenqiang1208
2023-01-03 09:17:25 +08:00
之前做过 superset 的二开,需要后端 python 和 前端 React 的相关技能。
superset 只需要配置好数据源, 就可以从数据源中取数据进行数据聚合展示。
daysv
2023-01-03 09:25:15 +08:00
以前做过, 这一块东西很复杂的, 1-2 年经验做出来的东西不得行, 建议外购
ptaooo
2023-01-03 10:07:37 +08:00
楼上说的 airflow 我大概接触过一点,比较适合做任务的调度,不太建议来做数据相关的,他的任务组件之间没有数据流,只有任务间的执行逻辑关系
jones2000
2023-01-03 17:42:21 +08:00
会用 canvas 就可以, 自己画呗。2-3 年用 canvas 开发的就基本可以了。
512357301
2023-01-04 00:11:05 +08:00
如果准备自研的话,产品经理必须给力,研发其实难度并没有那么大,产品经理没有规划的话,做不出来好东西,最好是有从 BI 平台跳过来的产品经理
leokun
2023-09-02 16:48:25 +08:00
bi 现在很简单,我们公司 3 个人 1 个半月就开发出来了
bojue
2023-10-02 10:53:18 +08:00
@daysv 大佬能交流一下哪块复杂,我们也有计划自研

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/906114

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX