本来用的是 mysql ，canal 同步到 es 没啥问题。最近要求迁移到 pgsql ，研究了半天，似乎没有太好用的方案。
pgsync 资料太少。要依赖 redis 。搞半天也没搞明白。
debezium 需要另外装 kafka 。
其他还有什么轻量级的方案么？
pgsync 资料太少。要依赖 redis 。搞半天也没搞明白。
debezium 需要另外装 kafka 。
其他还有什么轻量级的方案么？
This topic created in 758 days ago, the information mentioned may be changed or developed.
6 replies • 2024-05-06 21:21:33 +08:00
 |
1
gabon Apr 28, 2024 via iPhone
datax 应该是可以的，就是不知道满不满足你的轻量需求
|
 |
2
potatowish Apr 28, 2024 via iPhone
debezium 可以用嵌入式的引擎，不上 kafaka connect 也行。还可以试试 flink cdc ，直接用本地集群
|
 |
3
Variazioni OP @gabon 需要实时同步。datax 好像做不到？
|
|
4
Variazioni OP @potatowish flink cdc 好像只支持到 es7 。我这边需要同步到 es8 ，很难受。
debezium 使用嵌入式引擎同步到 es 有 demo 么？网上找了半天也没找到。 |
|
5
potatowish May 6, 2024 via iPhone
@Variazioni es connector 支持 7.x 和更高版本，连接器用 elasticsearch-7 ，参考这个基于 table api 的 demo： https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/connectors/legacy-flink-cdc-sources/tutorials/build-streaming-etl-tutorial/
|
|
6
Variazioni OP @potatowish 感谢。flink cdc 挺好用的。就决定用它了
|
Select Language