大数据多维度数据分析问题请教

2017-08-03 09:51:26 +08:00
 SunshineJohn

从一张用户表(字段包括:日期、业务 id、渠道、版本、uid ;已 groupby,表记录是唯一的)进行数据分析,维度包括:日期、业务 id、渠道、版本。当前端查看结果,筛选条件可以是多个维度的各种组合,不同的业务 id、渠道、版本,uid 可以相同,因此根据条件做 sum 肯定不能满足需求的,请问如何实现?现在知道的一个笨方法是:每种组合都分析一遍。请大神指点,谢谢!

1826 次点击
所在节点    问与答
4 条回复
WhoMercy
2017-08-03 10:05:01 +08:00
1.分析热点数据,进行预统计;(如前一天、七天、三十天)
2.缓存数据组合,提高组合数据命中率;(一级缓存、二级缓存)
……
rockyou12
2017-08-03 11:05:50 +08:00
给用户看还是给自己人看?给自己人看的话直接倒进 elasticsearch,用 kibana 去看,啥都不用写
SunshineJohn
2017-08-03 11:25:28 +08:00
SunshineJohn
2017-08-03 11:27:39 +08:00
@WhoMercy 谢谢回复,刚刚从别人那里得到好像可以用 Cube 实现。正在研究。

@rockyou12 自己内部开发,所有前后端自己做。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/380027

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX