求助：百万级数据报表统计有哪些解决方案？

[3country]

SQLServer 的多表查询，每个表百万条数据，增量不多，要求实时变化或者 5 分钟刷新一次，有啥好的解决方案吗？

ES 适合做吗？（公司有 ES 集群，大数据框架我只接触过 es ）

[zoharSoul]

es 可以的,
实际上百万级我觉得 sql 数据库也完全能抗住... 毕竟数据量少

[TimePPT]

试试统计可以试试 flink

[TimePPT]

@TimePPT 实时

[3country]

@zoharSoul sql 涉及各种计算，年度统计的时候很慢，报表太多，不想优化 SQL，想找一种统计方案（具体情况我不太清楚，领导给的信息比较少）

[3country]

@TimePPT flink 需要其他关联的框架吗？学习成本怎么样？

[bthulu]

才百万数据, 全部塞内存里就行了

[TimePPT]

@3country 接入难度一般，官方文档还算全。实时维表统计比较方便。现在也流行这么玩。可以搜下「 flink 批流一体」，有不少大厂的经验介绍。

[imn1]

@3country #4
年度统计不需要实时吧？截至到一个时间的统计，然后存统计结果

[3country]

@imn1 定时查询然后放到 Redis ？

[imn1]

@3country #9
你还是去问清楚详细需求吧，一般大周期（季、半年、年）的统计都是专门做报告的，实时的统计更多用于监测“异常”和分析变化趋向，年报数据每几分钟变一次是很奇怪的 —— 报告不可信
至于用什么，那不是我擅长的

[flighter]

百万级 数据库就可以，ES 完全无压力

[kiracyan]

百万很小量级了

[qq1340691923]

我就是用的 es，一个索引十几亿条数据无压力

[luoqeng]

flink

[ksedz]

没有关键词查询需求的话建议 Clickhouse，简单粗暴，性能强劲

[daweibao]

15 楼的方案可以考虑

[jenlors]

ClickHouse +1

[xuanbg]

分级汇总。简单的说就是今年之前的数据是不变的，可以按需求汇总之后存起来。然后今年 1 、2 月份的数据也是不变了，也可以按月 /日汇总后存起来。剩下的也就是查当月数据罢了。或者干脆连当月的数据也按天汇总存起来，竟只需查询当日数据就够了。

[Alexf4]

Clickhouse +2，而且还可以帮你涉及下新的领域？

[wushigejiajia01]

巧了，我最近就在搞报表开发，大多是百万数据表，千万表目前有一张（但是这张表涉及的统计不多）
-------------------------------------------------
针对报表开发，我们单独弄了个库，把原始数据同步过来专门用于报表开发，在同步的过程中会把一些必要的字段进行冗余，连缓存都没用

现在那些百万表的关联查询，数据库完全能扛得住，适当的加些索引，当下一点问题都没有
--------------------------------------------------

当然你要问有没有隐患，那肯定有，过些年这些报表肯定越跑越慢，到时候肯定要优化，到时候分表、缓存之类的搞起来，基本上也能解决了，现阶段就不是我需要考虑的了，工期就这么多