数据同时写入 hdfs 和 es 的方案

2019-08-16 11:45:13 +08:00
 wang2222

求教给位 V 友一个问题： 现在我们将一份数据写入了 ES，现在有需求将数据写一份进入写入到 hdfs，现在有两种方案

  1. 在处理数据时，同时写入 es 和 hdfs
  2. 在写入 es 之后，用 scroll 方法将 es 的数据读取写入到 hdfs

哪种方法更好一点？

1844 次点击
所在节点    程序员
3 条回复
gaozhy
2019-08-16 12:05:05 +08:00
处理数据时，利用 flume 多 sink，分别存 ES 和 HDFS
kiddingU
2019-08-16 13:12:47 +08:00
楼上正解，flume 多个 sink,或者用 kafka 两个 consumer group 广播，kafafa-connect-es -hdfs
wsbnd9
2019-08-16 18:24:32 +08:00
自己写脚本 就选择 1 利用现有的开源组件 就按照 2 楼说的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/592412

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX