spark 将 dataframe 写到 hdfs 为什么会如此耗时？

[wudc]

公司这边有个数据聚合的任务，聚合的过程中遇到了数据倾斜，通过局部聚合和全局聚合的方式解决，速度提升了很多，12G 的数据大概需要 15 分钟左右聚合完，但是在最后以 json 格式的文件存储到 hdfs 上时特别耗时，而且偶尔会报内存溢出，spark.default.parallelism 设置的是 200，最后保存时是这么写的：df.repartition(20).write.json(savePath)，求 spark 大神指点我哪里有问题，该怎么解决这个问题？谢谢。

[linuxchild]

压缩一下再写试试

[wudc]

@linuxchild 嗯，谢谢，我加上了这段代码 df.persist(StorageLevel.MEMORY_AND_DISK_SER)，现在程序在跑

[liprais]

df.repartition(20) 这样不是只起二十个 partition 在写么
直接 df.write.json 试试?

[wudc]

@liprais 想最后把结果写到 20 个文件中

[mind3x]

用 coalesce(20) 试试

[zhusimaji]

@wudc 你这个只是数据持久化

[zhusimaji]

@wudc 可以看下 spark job 看看卡在哪了

[Mondoz]

同 coalesce

[wudc]

@zhusimaji 卡在 df.repartition(20).write.json(savePath)这行了，数据量比较小时还可以但是数据量一大就栈溢出

[wudc]

@Mondoz
@mind3x
好的，改成 coalesce 已经在测试，谢谢。

[liprais]

可以先 df.repartition(20) 看看执行计划
然后你就明白为啥这么慢了

[wudc]

@liprais 嗯，明白了，去掉 reparation 确实快了不少，谢谢！

[zhusimaji]

@wudc 一般情况下不要指定分区数，因为这个都会自动计算出合理的分区，分区设置的过少，必然导致每个 job 处理的时间变长

[wudc]

@zhusimaji 嗯嗯，听你这么说我明白了，我分区是想防止过多结果文件的产生，现在看来有点画蛇添足了。

[wudc]

@zhusimaji 我这程序在处理大数据量的聚合时偶尔会报 OOM 内存溢出，您对此有什么比较好的解决方法吗？

[zhusimaji]

@wudc 不知道你是不是在 yarn 上执行，如果内存够的情况下给每个 executer 分配内存大一点

[zhusimaji]

oom 产生的原因很多，最好根据打印的 log 日志去找相对应的资料

[wudc]

@zhusimaji 是在 yarn 上，executor-cores、num-executors 和 executor-memory 已经设置成当前集群所允许的最大值了，我再想想吧，还是非常感谢你的指导。