请教个 hadoop 指令问题

2018-07-27 10:12:59 +08:00
 DongDongXie

hadoop fs -cat $data_set_high/p*|awk -v repeat=${num} '{for(i=0;i<repeat;i++)print}' >> $local_file

没太懂这一句,新手上路,请各位指教一下。

1870 次点击
所在节点    Hadoop
1 条回复
owenliang
2018-07-27 11:56:35 +08:00
输出 hdfs 里的一个文件,然后本机 awk 运算,运算规则是:

每一行重复 num 次,最终全部输出到 local_file。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/474584

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX