( 1 )贵公司使用的 cdc 开源框架是哪个 canal /debezium? (2)贵公司的业务场景是怎样的 ( 3 )我们公司用到的是 Debezium,目前遇到几个问题,其中有一个问题:Debezium 提供了一个 EmbeddedEngine,这个 Engine 的工作流程可以大致简单描述未
run (){
step1:Engine 内部会 启动一个线程 A,连接 mysql 数据库 读取 binlog 日志,将读取到的数据放置到某一个队列中
step2:
while(xxxx){
data=queue.take();
//交给项目的业务类处理
}
}
问题:重启了 mysql 服务器之后,线程 A 抛出了异常导致 无法继续从 mysql 服务器读取 binlog 日志。 然后这个时候 Engine 感知不到,就会一直阻塞在 take 处。
然后我们的业务代码就收不到 CDC 消息了,这个该如何处理?
1
liprais 2021-06-24 19:13:16 +08:00
跟着重启不就完了
你更应该解决的是为啥数据库重启了你不知道 |
2
SachinBeyond OP @liprais 那个线程抛出的异常我捕捉不到,导致我这边都不知道数据库重启了。业务组那边说有几个单子没有收到 cdc 消息,然后检查日志才发现是数据库被人重启了
|
3
liuhouer 2021-06-24 21:58:02 +08:00 via iPhone
flinkx 支持按照时间点抓取 cdc 变更
|