Mysql 和 Clickhouse 使用

[LiJavaT]

现在有个 Java 服务每天要抓取十几万的数据，这个数据量太大了，查询速度也慢。现在方案的是，第一次 Mysql 抓取全量数据同步到 CLickhouse 中，clickhouse 存储历史数据，Mysql 就存储当天抓取的数据然后同步到 clickhouse 中。这样就解决了 Mysql 中表的数据量过大的问题。 想问一下大佬们，我这解决方案有啥问题。期间也想过用 monodb 存储，但是 monodb 不是太好用就放弃了

[allstarvrgo]

[这个数据量太大了，查询速度也慢] 考虑这个问题 ，如果查询条件是某天的数据，可以使用 mysql 的分区表，按天分区。
如果查询条件可能是历史的所有数据，则需要根据查询条件设置好 ck 主键，直接使用 ck 查询。

[sxt10240000]

@LiJavaT mysql 一亿数据量的普通查询时间在毫秒级，当然你没搞索引当我没说

[maichael]

@codingmiao 关于这个，CH 官方文档甚至有说明： https://clickhouse.com/docs/en/faq/general/dbms-naming

[Meld]

补上你的查询需求

[8355]

我们现在单表 117 亿的 clickhouse 做报表统计 没啥问题啊。。。你这点量 mysql 都跑的动吧。

[heiya]

埋点数据放 ch ，从 ch 中定时统计出来的数据放 mysql 方便查询，美滋滋。

[keshawnvan]

换个 HTAP 数据库，比如 PolarDB ，TiDB 之类的。

[ACCI]

这种数据可以用 doris 或者 hudi 之类的数据库吧, 按天动态分区.
也是 mysql 协议, 这种数据量轻轻松松吧.

而且 ck 也是可以分区的吧. ck 的查询强得很