为什么我的 spark 没有比 hadoop 快

[MainHanzo]

自己在电脑上用 virtualbox 搭了一个虚拟集群，3 台 centos，内存大小 2048mb，硬盘大小 48g 。一个 master 两个 slaves，都安装了 spark 和 hadoop 。 尝试跑了 wordcount，数据大概从 200mb 到 1500mb 。跑出来的结果是 hadoop 只比 spark 慢一点，有的数据量差不多快。 我很奇怪为什么会出现这样的结果。两者硬件条件一样，而且我两个都用的是 yarn 来分配资源，spark 的优势为什么显示不出来呢？

[billlee]

1. wordcount 太简单了，利用不上 spark 的优势
2. 1500mb 的数据量也太小了，运行时间恐怕还没创建销毁 application 的开销长。直接用单机单线程的 wc 恐怕比这两个都快

hadoop 和 spark 是在双路 CPU 几百 GB 内存的服务器都处理不过来时用的，拿 3 台 2GB 内存的虚拟机来测性能没有意义。

[yuikns]

@billlee +1

spark 的优势在于用程序的方式构建一些任务的 DAG 然后自动推导可以 schedule 出优化后的 spark jobs. 在有比较复杂的任务的时候浪费的算力会少很多。

https://i.stack.imgur.com/cyvd1.png

低性能的虚拟机下 spark 和 hadoop 比很多单机程序都慢。不过如果单纯内部比较，当任务变得复杂后，hadoop 浪费了较多算力，我觉得还是可以看出出性能的区别的。

[snappyone]

你这个配置拿来玩玩就行了，性能就不要深究了