V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zuo
V2EX  ›  程序员

spark 如何指定输出文件名

  •  
  •   zuo · 2016-04-13 17:17:00 +08:00 · 6406 次点击
    这是一个创建于 3131 天前的主题,其中的信息可能已经有所发展或是发生改变。

    hdfs 有一堆 gzip 文件, spark 读入后进行 map 做数据转换后,因为 gzip 文件不能分片,所以并行度是 1 。通过 RDD.saveAsTextFile(path)输出到 hdfs

    遇到的问题: path 实际是输出的文件目录名,而真实的输出文件名为 part-00000.gz 。希望能得到输出文件名是 xxx.gz 而不是 part 前缀的文件名,大家有方法可以提供吗?最好有 Python 实现

    2 条回复    2016-04-15 10:12:24 +08:00
    MasterC
        1
    MasterC  
       2016-04-13 23:15:27 +08:00
    自定义 XXXOutPutFormat ,重写 getRecordWriter 方法,主要是在创建 DFSOutPutStream 的时候,手动指定输出文件名称,这样就可以实现自定义输出文件名了。我在 MR 里面是这么干的,应该也是可以引入到 spark 里面。
    zuo
        2
    zuo  
    OP
       2016-04-15 10:12:24 +08:00
    @MasterC 谢谢,昨天按照你的提示已经用 hadoop 重新实现了一遍
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1209 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 18:14 · PVG 02:14 · LAX 10:14 · JFK 13:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.