关于 Flink 做数据传输的疑问

2023-06-09 10:18:09 +08:00
 7911364440

目前是要做一个数据传输服务,需要根据页面提交的配置将数据从一个数据源同步到另一个数据源。数据源可能是关系型数据库,也可能是消息队列,或者 Hive 。

了解了下 Flink 发现有两种提交 job 的方式:

疑问是客户端运行时要怎么根据配置信息动态生成 flink job ,并远程提交给 flink 去执行

1258 次点击
所在节点    程序员
3 条回复
wangyiyi10
2023-06-09 10:37:28 +08:00
创建 remote env 。
可以参考一下 Zeppelin 支持 Flink 的逻辑
sijue
2023-06-09 11:52:58 +08:00
Akka Actor System 通信系统了解一下
ttskym
2023-06-09 12:53:49 +08:00
一条流里做,还是多条流做?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/947200

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX