pgsql 数据同步至 elasticsearch 有什么轻量级的方案么

205 天前
 Variazioni
本来用的是 mysql ,canal 同步到 es 没啥问题。最近要求迁移到 pgsql ,研究了半天,似乎没有太好用的方案。
pgsync 资料太少。要依赖 redis 。搞半天也没搞明白。
debezium 需要另外装 kafka 。
其他还有什么轻量级的方案么?
842 次点击
所在节点    问与答
6 条回复
gabon
205 天前
datax 应该是可以的,就是不知道满不满足你的轻量需求
potatowish
205 天前
debezium 可以用嵌入式的引擎,不上 kafaka connect 也行。还可以试试 flink cdc ,直接用本地集群
Variazioni
204 天前
@gabon 需要实时同步。datax 好像做不到?
Variazioni
204 天前
@potatowish flink cdc 好像只支持到 es7 。我这边需要同步到 es8 ,很难受。
debezium 使用嵌入式引擎同步到 es 有 demo 么?网上找了半天也没找到。
potatowish
197 天前
@Variazioni es connector 支持 7.x 和更高版本,连接器用 elasticsearch-7 ,参考这个基于 table api 的 demo: https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/connectors/legacy-flink-cdc-sources/tutorials/build-streaming-etl-tutorial/
Variazioni
197 天前
@potatowish 感谢。flink cdc 挺好用的。就决定用它了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1036374

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX