现在自己想的结局办法有以下几个:
1: 使用 Maxwell 或 Canal,然后由另一个程序计算出之后写入 clickhouse
2: 在程序中埋点,然后再写入 rmq 或者 kafaka,再由另一个程序计算写入 clickhouse
但是现在用的数据库是 pgsql,所以 1 用不了,
如果用 pgsql 自带的 Listen/Notify 性能怎么样? 或者有其他什么好的解决方案?
在程序中埋点太累了,基本不考虑;😂
1
troywinter 2021-06-01 20:54:42 +08:00 1
clickhouse 应该是直接支持消费 kafka 的,对于数据同步的问题,你需要 CDC(change data capture),可以用 pg 的逻辑复制 ,debezium 做的比较好,也是现在比较流行的方案。
|
2
lihaotian OP |
3
undeflife 2021-06-01 23:07:09 +08:00
@lihaotian 如果你直接往 kafka 里写 json string 的话 可以不用。
当然也可以用 schema registry 。clickhouse 对这个支持还算不错 (不用 union 以外的嵌套类型)。 |
4
labulaka521 2021-06-02 09:55:29 +08:00 via iPhone
我们目前是有一个程序定时去拉取 mysql 的数据 然后写入 clickhouse 基本都有一两分钟的延迟 愁死了
|
5
lihaotian OP @labulaka521 为什么不用 Maxwell 或者 Canal?
|