分布式压缩多个 hdfs 上的文件解决方案

[ysn2233]

现在我在 hdfs 上有一千个文本文件，每个大概 200m-1g，想快速的压缩这些文件上传到 hdfs 上去。在单机用多进程跑了但速度还是没达到理想的要求，想问一下有没有分布式的方法执行这个问题。我们的机器之间 ssh 不通所以 gnu parallel 不行，想了解一下别的有什么解决方案，谢谢。

[ipwx]

Spark. 用 sc.map

[billlee]

hadoop map reduce