目前公司 pgsql 数据同步到 es 的方案是 debezium 监听日志发送 kafka ，然后 flink 消费 kafka 做同步 es 的操作。
小弟的疑问是为什么要加 flink 这一步，直接自己起一个 kafka consumer 消费这个变更日志去做同步 es 的处理不行吗，有什么区别吗
小弟的疑问是为什么要加 flink 这一步，直接自己起一个 kafka consumer 消费这个变更日志去做同步 es 的处理不行吗，有什么区别吗
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 914 days ago, the information mentioned may be changed or developed.
 |
1
vagusss Nov 24, 2023
我觉得你想的是对的
|
 |
2
Masoud2023 Nov 24, 2023
有现成的轮子为什么要自己造？
|
|
3
Masoud2023 Nov 24, 2023
我刚想起来 flink 好像不是我想的那个东西。。。记错了，我的问题
|
 |
4
wu00 Nov 24, 2023
当然可以，甚至可以直接在 debezium 上配置 storage 的吧？一般 CDC 组件应该都会支持 es
|
 |
5
fatyoung OP 交代一下背景：flink 不是因为这个需求才搭建的，flink 是本来就搭建好了的，但还是困惑为什么要经过 flink 这一层
|
 |
6
ming2050 Nov 24, 2023
个人感觉，如果没聚合类型的操作，Flink 确实是多余的。
|
Select Language