求助,如何使用 scala 语言中的 flatMap 语句进行数据压缩呢?

2017-05-22 16:34:29 +08:00
 XiMing
最近在学习大数据,看到一个练习题。题目如下:在 Spark-Shell 中使用 scala 语言对文件使用 flatMap 语句进行数据压缩,压缩的所有数据以空格为分隔符,压缩后对字母进行 key:Value 计数(字母为 key,出现次数为 Vlaue )。
2039 次点击
所在节点    问与答
1 条回复
fdhdd
2017-05-22 17:48:25 +08:00
相当于 wordcount 吧
val f = scala.io.Source.fromFile("yourFile")
val wordCount = f.getLines.map(_.split(" ")).flatMap(a => a).groupBy(identity).mapValues(_.length)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/362993

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX