求不同数据库之间的数据同步方案

86 天前
B9hkc  B9hkc

问题背景

当前使用方案

遇到的问题

以上问题也不是每张表都有,大部分表也都能成功,但是部分表就是遇到这些问题。我的需求需要保证数据同步必须稳定成功,每月做一次全量同步,每天做一次增量同步。请教一下各位大神该问题还有哪些方案可用(开源或商业付费都可以),或者我遇到的问题可能出现在什么地方。谢谢各位大佬

2223 次点击
所在节点   数据库  数据库
18 条回复
BugCry
BugCry
86 天前
试试 kettle
1024potato
1024potato
86 天前
flink CDC
ljh2057
ljh2057
86 天前
Apache SeaTunnel
COW
COW
86 天前
定时任务+自定义 datax ,这不就是一个 ETL 平台的功能吗,你们应该有这种 ETL 平台吧,直接找数仓的同事公共讨论方案从数据流和业务上解决是不是会更好。
l1ch40
l1ch40
86 天前
tapdata
LittleControl
LittleControl
86 天前
4 楼给出答案了,应该找数仓的同事讨论一下能否复用他们 ETL 平台或能力,肯定这方面他们经验更丰富一些
andytao
andytao
86 天前
强势关注,袋鼠把你的需求案例纳入测试案例了,将在升级开发中作为验收案例;
andytao
andytao
86 天前
B9hkc
B9hkc
85 天前
@BugCry 这个也有在用,目前也是 xxljob+kettle 也做得有
B9hkc
B9hkc
85 天前
@1024potato 好的,我了解一下
B9hkc
B9hkc
85 天前
@ljh2057 谢谢,我了解一下
B9hkc
B9hkc
85 天前
@COW 谢谢大佬,我去找相关的部门同事交流一下
B9hkc
B9hkc
85 天前
@l1ch40 没用过,我了解一下,谢谢
B9hkc
B9hkc
85 天前
B9hkc
B9hkc
85 天前
@andytao #8 关注一下,目前的同步功能是打勾的数据库之间都支持数据同步吗?还是只支持同源数据库的同步呀
edwardzcn98
edwardzcn98
85 天前
你问的全量增量捕获稳定性是做变更数据捕获工具测试比较麻烦的事,开源方案 2l 提到了 Flink CDC ,如果觉得不够定制或者需要改可以直接用下面封装的 Debezium
andytao
85 天前
@B9hkc 目前是支持异构的,只是还没有大规模验证的案例,接下来准备从内部视角对它进行升级;
wnarutou
84 天前
问题一:看看日志里面真正执行的 sql 是否加了其他分片条件
问题二:写入插件应该用 replace 模式

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1092004

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX