大文件通过 Mapreduce 切分存入 hbase

2020-11-17 21:31:40 +08:00
 hzt1234h

大文件通过 Mapreduce 切分成多个 5mb 的小文件并存入 hbase 这种操作如何实现啊

2441 次点击
所在节点    Hadoop
3 条回复
zhoujinjing09
2020-11-17 22:35:05 +08:00
为什么要 MapReduce ？直接切写进 hbase 不就行了吗……
cco
2020-11-18 09:26:30 +08:00
直接生成 StoreFile，我记得是这样的。
hzt1234h
2020-11-18 09:49:31 +08:00
@zhoujinjing09 hbase 存入数据不是有限制么，这里的文件小的几百 MB，大的几个 G

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/726400

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX