如何获取 spark 中作业访问了哪些数据？

2017-07-25 17:58:38 +08:00
 diveIntoWork

在 spark 的 web UI 中没有找到相关信息，rest api 里也没有这一项。 需要记录 spark 的访问文件对象，包括 hdfs 文件和 linux 文件。。。 求大神指教

1463 次点击
所在节点    程序员
1 条回复
mingweili0x
2017-07-26 07:51:39 +08:00
系统的文件可以用 lsof 监听，但 hdfs 的就不知道了。hdfs 不是典型的文件系统，只是个抽象而已，直觉告诉我他们根本没提供这个功能，或者提供了，在古老的 Hadoop Java API 里隐藏的很深，可以找找看

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/377887

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX