spark 程序 saveAsTextFile 生成的目录中存在_temporary 目录是什么原因？该如何解决？

2018-05-26 20:08:26 +08:00
 wudc
3416 次点击
所在节点    程序员
2 条回复
tinybaby365
2018-05-26 20:12:27 +08:00
saveAsTextFile 没有执行完。如果 job 已经退出，就是发生了异常，否则还在输出。如果 job 没退出，但输出耗时太久，可以 repartition 一下。
wudc
2018-05-26 21:25:31 +08:00
@tinybaby365 但是结果里面有_success

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/458005

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX