请教一下 clickhouse 的使用问题

[iamfenges]

clickhouse 能作为 mysql 的从库吗？官网这个 MaterializedMySQL 引擎又写着是试验性的。你们是怎么使用的

[wmz000]

想知道啥需求为啥要使用 ck 做 mysql 的从库？

[vincent7245]

1 可以，但是前提是，ck 是做分析用的，而且数据有延迟，不能做业务

2 我们用 impala+kudu ，性质和 ck 差不多，但是仅做分析用，数据是通过读取 binlog 同步的，自己写的中间件

3 不要用分析数据库做业务，不要用分析数据库做业务，不要用分析数据库做业务

[ianEros]

我咋记得这个引擎是类似外表，在 ck 做的映射，查询的时候 ck 还是连到 mysql 查

一般的方案都是用 canal 同步到 ck ，或者直接用 ck
经常修改的数据同步到 ck 还要区分版本，有时候还要 merge

[iamfenges]

@wmz000 就做一些数据统计，不是业务用的

@vincent7245 是的，只做业务分析

[iamfenges]

@ianEros 你说的是 MYSQL 的表引擎，会直接查 mysql ，现在就是用这个，所以内存爆了

[ianEros]

@iamfenges #5 内存多大 ck 巨吃内存

[iamfenges]

@ianEros 感谢，准备改成用 canal 同步试试

[iamfenges]

@ianEros 才 8G[捂脸]

[wmz000]

@wmz000 #1 我理解由于这两个的数据模型和查询语句等差距，用 ck 做 mysql 你需要做不少转换类的工作吧，比起加一层同步数据的工作量呢？

[ianEros]

@iamfenges #8
我说错了，映射表的引擎是 mysql
8g 有点小，数据量大一点就不够用，如果用 canal 同步的话，离线数据还好，如果数据经常修改的话同步也很麻烦，MergeTree 同一条数据每次修改会存一条记录，同一条记录会存好几个版本

[rongpx95]

可以是可以，但是考虑到性能，你还需要定时把 MySQL 视图的数据，同步到 CK, 后面基于 CK 做分析

[wmz000]

@iamfenges #8 看你数据量啦，稍微大点，8g 怕是不够 ck 吃的，哈哈

[IDAEngine]

@iamfenges 最好 64G 内存起，玩 ck 的话，

[qzwmjv]

8G 就别考虑 ck 了

[mywowo]

8G 玩个啥 clickhouse

[sadfQED2]

做从库没听说过，我们是 mysql binlog>kafka>flink>ck

[weijancc]

楼上说内存的, 我用的是个假的 clickhouse 吗, 300w 数据量才占了 700m 内存

[nulIptr]

@weijancc 300w 数据要啥 ck 。数据少就 mysql 自己玩呗，量上来了再整后面的

[weijancc]

@nulIptr 做 olap 的, 刚部署 10 来天, 一个月后数据就千万了.

[weijancc]

@nulIptr 而且数据量小用 clickhouse 也没什么问题, 我之前数据量 50w, 在低价云主机上的 mysql 执行复杂查询+group 要 7 秒, 而 clickhouse 是秒出结果