这是一个创建于 368 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前公司 pgsql 数据同步到 es 的方案是 debezium 监听日志发送 kafka ，然后 flink 消费 kafka 做同步 es 的操作。
小弟的疑问是为什么要加 flink 这一步，直接自己起一个 kafka consumer 消费这个变更日志去做同步 es 的处理不行吗，有什么区别吗
小弟的疑问是为什么要加 flink 这一步，直接自己起一个 kafka consumer 消费这个变更日志去做同步 es 的处理不行吗，有什么区别吗
 |
1
vagusss 2023-11-24 14:45:56 +08:00
我觉得你想的是对的
|
 |
2
Masoud2023 2023-11-24 14:57:06 +08:00
有现成的轮子为什么要自己造？
|
|
3
Masoud2023 2023-11-24 14:58:42 +08:00
我刚想起来 flink 好像不是我想的那个东西。。。记错了，我的问题
|
 |
4
wu00 2023-11-24 15:01:20 +08:00
当然可以，甚至可以直接在 debezium 上配置 storage 的吧？一般 CDC 组件应该都会支持 es
|
 |
5
fatyoung OP 交代一下背景：flink 不是因为这个需求才搭建的，flink 是本来就搭建好了的，但还是困惑为什么要经过 flink 这一层
|
 |
6
mringg 2023-11-24 15:24:42 +08:00
个人感觉，如果没聚合类型的操作，Flink 确实是多余的。
|
Select Language