V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
humbass
V2EX  ›  Node.js

数据同步大家都有什么方法?

  •  
  •   humbass · 2022-10-19 14:48:32 +08:00 · 5470 次点击
    这是一个创建于 796 天前的主题,其中的信息可能已经有所发展或是发生改变。

    1 台主服务器 有用户数据,可能有用户信息的增删改 N 台从服务器 同步主服务器用户最新的数据

    数据库不一定是 mysql ,也可能是 mongodb, 如果有第三方的机制更好,请教各位有没有简单易操作的方法?

    13 条回复    2024-09-14 15:44:27 +08:00
    lmshl
        1
    lmshl  
       2022-10-19 14:57:50 +08:00
    jabari
        2
    jabari  
       2022-10-19 15:00:13 +08:00
    cdc(change data capture)
    daoqiongsi1101
        3
    daoqiongsi1101  
       2022-10-19 15:04:48 +08:00
    不同的数据源可以把数据变更同步到 kafka 的 topic ,其他服务器订阅 topic
    humbass
        4
    humbass  
    OP
       2022-10-19 15:09:00 +08:00
    @jabari 这个比较容易理解,正在看阿里云的 rocketMQ
    humbass
        5
    humbass  
    OP
       2022-10-19 15:10:11 +08:00
    @daoqiongsi1101 正在看阿里云的 队列服务,感谢!
    Jemini
        6
    Jemini  
       2022-10-19 16:19:28 +08:00 via iPhone
    冷门的 kafka connect
    brader
        7
    brader  
       2022-10-19 17:19:20 +08:00
    可以看下这个中间件适合不适合你用 https://github.com/brokercap/Bifrost
    humbass
        8
    humbass  
    OP
       2022-10-19 17:26:51 +08:00
    @brader 页面介绍做的相当酷!
    tyrantlucifer
        9
    tyrantlucifer  
       2022-10-20 00:02:34 +08:00
    Apache SeaTunnel 或者 DataX
    frank1256
        10
    frank1256  
       2022-10-20 09:15:19 +08:00
    dataX
    HappyXiaoxin
        11
    HappyXiaoxin  
       2022-10-20 10:38:42 +08:00
    kettle
    gabriel_zhen
        12
    gabriel_zhen  
       2022-10-20 14:00:40 +08:00
    简单的 国内有个 restcloud 社区版 是类似 kettle 的工具 ,图形化界面 ,好像有同步组件 同步是 sql 级别的 不是日志级的 数据量小的可以用用
    qbmiller
        13
    qbmiller  
       100 天前
    @gabriel_zhen 这么多年,还没开源....
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3119 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 13:15 · PVG 21:15 · LAX 05:15 · JFK 08:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.