关于上亿数据的统计问题

[duyuyouci]

现在数据库有一张表数据已经过亿了，需要从不同维度统计按日，按月的数据，有没有什么好的解决方案呀，求教各位大神

[kaiz1121]

如果是单表，可以选择 clickhouse,但是 clickhouse join 操作不行，但 clickhouse 单表还是宇宙第一。复杂多表不能单单靠一个组件就解决的。需要上一套系统，从 ETL 开始 监听 MySQL binlog，或者写入 mysql 的业务，双写到消息队列，然后把数据同步到写优化层，比如 hudi，然后从从写优化层导入到读优化层，比如 doris，然后从 doris 查询就很快了。如果是简单的统计，可以用 hbase，不用引入读优化层，和写优化层。但是如果是报表类的复杂查询，hbase 是不够的，有钱的话，直接用 ES，省心，慢了加机器。 还是得看具体业务需求。

[laminux29]

什么业务，什么设备以及设备性能指标，什么系统，什么软件，数据结构怎样，相关设备最近一个月以分钟为粒度的负载表，你做这事有什么资源，做着事有什么性能指标或特性偏向，等等。你问的这个问题，至少要给出以上这些基本这些信息。不然，让我学楼上所有老哥，激活天赋技能 [先知] ，进行盲猜？

而且你做这事，信息安全，数据权限，备份等问题，你还得自己想好怎么处理。

[madworks]

上亿数据，不同维度，按日按月？？？直接报表工具啊，powerbi，tableau，ssas