请教一下大家,有什么异构数据源同步工具推荐吗?

2020-07-28 09:50:53 +08:00
 cernard

如题所属,异构数据源的离线(批)和实时数据同步工具。

需求:

  1. 支持异构数据源( mysql 、mongo 、文件、api 、消息)
  2. 提供 api 或者 sdk 在代码中提交和管理任务
  3. 支持任务详情监控
  4. 支持异常报警(或者能够自己实现)
  5. 开源,基于 Java
  6. 支持自定义代码或者插件

目前已知符合条件的:

  1. DataX
  2. FlinkX
  3. Logstash (不推荐,难嵌入和监控)

但是 DataX 和 FlinkX 都没用过,不知道有什么坑,还有什么可以推荐的吗?

2411 次点击
所在节点    问与答
5 条回复
whasyt
2020-07-28 10:02:17 +08:00
datax 满足
cernard
2020-07-28 10:04:59 +08:00
@whasyt #1 DataX 可以在 java 代码里提交任务、管理任务、监控任务吗?我看 github 都是手动运行命令提交任务
whasyt
2020-07-28 10:07:38 +08:00
@cernard #2 他是开源的,监控任务可以自己修改代码实现,或者在调用环境下监控日志&调度。
cernard
2020-07-28 11:13:08 +08:00
@whasyt #3 了解,感谢
death00
2020-07-28 13:11:08 +08:00
有个 datax-web,是界面可配置话的那种,你看看可以不
https://github.com/WeiYe-Jing/datax-web

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/693648

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX