pgsql 增量同步 es 的一个疑问

[fatyoung]

目前公司 pgsql 数据同步到 es 的方案是 debezium 监听日志发送 kafka ，然后 flink 消费 kafka 做同步 es 的操作。

小弟的疑问是为什么要加 flink 这一步，直接自己起一个 kafka consumer 消费这个变更日志去做同步 es 的处理不行吗，有什么区别吗

[vagusss]

我觉得你想的是对的

[Masoud2023]

有现成的轮子为什么要自己造？

[Masoud2023]

我刚想起来 flink 好像不是我想的那个东西。。。记错了，我的问题

[wu00]

当然可以，甚至可以直接在 debezium 上配置 storage 的吧？一般 CDC 组件应该都会支持 es

[fatyoung]

交代一下背景：flink 不是因为这个需求才搭建的，flink 是本来就搭建好了的，但还是困惑为什么要经过 flink 这一层

[mringg]

个人感觉，如果没聚合类型的操作，Flink 确实是多余的。