请教:如何将数据库内的统计后写入 clickhouse 之类的数据库?

[lihaotian]

现在自己想的结局办法有以下几个:

1: 使用 Maxwell 或 Canal,然后由另一个程序计算出之后写入 clickhouse
2: 在程序中埋点,然后再写入 rmq 或者 kafaka,再由另一个程序计算写入 clickhouse

但是现在用的数据库是 pgsql,所以 1 用不了,
如果用 pgsql 自带的 Listen/Notify 性能怎么样? 或者有其他什么好的解决方案?

在程序中埋点太累了,基本不考虑;😂

[troywinter]

clickhouse 应该是直接支持消费 kafka 的，对于数据同步的问题，你需要 CDC(change data capture)，可以用 pg 的逻辑复制 ，debezium 做的比较好，也是现在比较流行的方案。

[lihaotian]

@troywinter 从 pg -> debezium ->kafka->clickhouse

中间是不是有一个数据处理的过程？

[undeflife]

@lihaotian 如果你直接往 kafka 里写 json string 的话 可以不用。
当然也可以用 schema registry 。clickhouse 对这个支持还算不错 （不用 union 以外的嵌套类型）。

[labulaka521]

我们目前是有一个程序定时去拉取 mysql 的数据 然后写入 clickhouse 基本都有一两分钟的延迟 愁死了

[lihaotian]

@labulaka521 为什么不用 Maxwell 或者 Canal?