漏斗数据分析的技术选项

2021-03-11 19:24:44 +08:00
 shanghai1943

目前我们把埋点数据存放在了 MySQL 表中，现在行数大概是 1.6 亿，数据容量 36GB，索引容量 63GB 。漏斗数据分析是按天纬度来查询，通过 sql+Java 代码统计的方式来处理的，如果时间跨度长的话，统计起来会比较慢。

想请教一下，该如何做优化？

网上我查了一下，貌似 spark+hdfs 可以解决类似这样的问题，不知道各位大哥有何高见？感谢。

851 次点击
所在节点    问与答
6 条回复
lithiumii
2021-03-11 20:08:10 +08:00
每天定时任务，把数量都数出来，存个表
amoia50
2021-03-11 20:19:00 +08:00
clickhouse 适合你
FucUrFrd
2021-03-11 22:48:13 +08:00
1.6 亿行，赶紧开除 dba，实操上限一千万行
shanghai1943
2021-03-12 10:05:20 +08:00
@lithiumii #1 目前的统计纬度是比较灵活的，相当于可以在这么多的埋点里做排列组合，可以认为统计是随机的。。所以目测定时这个不好搞。。
shanghai1943
2021-03-12 10:05:31 +08:00
@amoia50 #2 感谢。我这边研究一下看看
shanghai1943
2021-03-12 10:05:56 +08:00
@FucUrFrd #3 小公司。。木有 dba 。。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/760799

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX