[学习]mysql 的同步问题, binlog 相关

2024-01-26 10:57:24 +08:00
lsk569937453  lsk569937453

用阿里巴巴的canal把 binlog 解析出来是 eventData ,原来想着用otter做同步的。发现 otter 好久没维护了搭建个环境难得要死。

如果不用 otter ,怎么做数据同步?自己手写的话是需要把 eventData 转换为 sql 吗?

1442 次点击
所在节点   程序员  程序员
6 条回复
tairan2006
tairan2006
2024-01-26 11:05:45 +08:00
你要同步到哪里
bingobang
bingobang
2024-01-26 11:05:52 +08:00
记得没错的话,canal 好像也是要写代码的吧,那不如直接换 flinkCdc 了
flink cdc ,使用起来会简单很多,有纯 sql 的方案,但可能会感觉没有掌控感。 也可以用纯代码的方式解决,flink cdc 本身接入 dateSource 的时候就直接对接了 mysql 的 binlog ,在代码层面拿到的数据是,before 的值,after 的值,本次操作的类型,基本上你要的东西都会有
potatowish
potatowish
2024-01-26 11:19:24 +08:00
需要全过程掌控感,用 Debezium ,需要方便省事,用 Flink CDC Table/SQL API
totoro52
totoro52
2024-01-26 11:46:50 +08:00
它有一个 adapter ,可以写 sql 的方式同步,也有一个 client ,自己解析过来的数据,也有第三方开源的 clent ,github 上很多,我上次就用了一个,它全部解析成对象给你的, 很方便
vczyh
vczyh
2024-01-26 16:26:00 +08:00
数据都拿到了,拼接个 SQL 不是简简单单。
zhangxudong
zhangxudong
2024-01-26 17:58:05 +08:00
可以试试 cloudcanal ,好像是之前阿里云做 dts 的人出来创业做的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1011724

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX