关于上亿数据的统计问题

[duyuyouci]

现在数据库有一张表数据已经过亿了，需要从不同维度统计按日，按月的数据，有没有什么好的解决方案呀，求教各位大神

[imherer]

再建一张表把统计结果放进去，下次有用户统计的时候直接展示统计结果表里的数据即可

[clf]

看看 ClickHouse ？

[duyuyouci]

@imherer 现在有几个维度是这样做的，但是还存在修改往日数据的场景，有没有类似于数据订阅那样的统计，或者是实时查询效率比较高的方案

[duyuyouci]

@lychs1998 我去了解一下

[misaka19000]

Spark

[NeezerGu]

涉及上亿数据按天 /月 group by 的建议找大数据团队走 hive 来统计吧？

如果没有这方面的资源，那我很怀疑直接跑 sql，会比直接 select 出来然后 python 来跑还要慢？

另外如 1L，如果不不涉及历史记录修改，只涉及增量数据更新，那建议直接生成每天的结果数据，然后单独保存展示

[sonice]

为啥都觉得上亿就多，单机的 es 或者 clickhouse 解决都是轻轻松松

[duyuyouci]

@sonice 对于不同维度的聚合操作也是可以吗，老哥

[duyuyouci]

@NeezerGu 可能 select 就要很久😂

[maniaccn]

@duyuyouci 可以不同维度聚合的，es 很好用

[huayumo]

我也觉得 es 挺好用

[jenlors]

ClickHouse 可以满足你

[hooopo]

@NeezerGu select 比 python 慢？搞笑吧

[NeezerGu]

@hooopo 第一我说了只是感觉；第二我猜你没做过数据分析，个人感觉外行在很多时候往往特自信

[hooopo]

@NeezerGu 我只是看了你的回复 觉得你特自信 还特别搞笑

[9LCRwvU14033RHJo]

这个文章还是可以借鉴的
tech.meituan.com/2020/04/09/doris-in-meituan-waimai.html

[wellsc]

时序数据库

[lifanxi]

https://www.aliyun.com/product/bigdata/hologram

新一代 HSAP 系统 Hologres 了解一下？ 1 亿数据毛毛雨。

[rapperx2]

我们公司也是过亿表遇见你这种情况，现在方案是迁移数据库 clickhouse （之前是 sqlserver ）

[NeezerGu]

@hooopo 哦？我怎么感觉更像是跳梁小丑来挑衅？