既然 static 修饰的成员变量和方法不能序列化,那么写 Spark 程序时如何定义自己的工具类?

2016-04-08 12:27:52 +08:00
 anonymoustian

我想写一个工具类, 里面的方法、变量都是静态的,另外还包括静态代码块。

因为我想做成一个 “工具”的效果。

但是这样的话 在 Spark 平台上运行就会报错, user class threw excpetion task not serializable 。

请问大家有没有好的解决办法?

2535 次点击
所在节点    Hadoop
3 条回复
knightdf
2016-04-08 12:55:59 +08:00
既然是工具类,就打成包, slave 直接用就行了,具体任务与工具类无关
anonymoustian
2016-04-08 13:25:55 +08:00
@knightdf 什么是 slave ?
knightdf
2016-04-08 13:26:37 +08:00
@anonymoustian 就是集群节点

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/269511

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX