关于 Spark Task 的疑问

[starry97]

关于上面那个图，ShuffleMapStage 中，有三个 RDD，每个 RDD 有三个分区 我看网上文章都是说一个分区对应一个 task，

1.上面那个 ShuffleMapStage 中阶段里是否存在 9 个 Task 。

2.但站在 pipeline 角度上看，应该只有三个 task，每个 RDD 的一个分区组合成一个 task 。

上面两种说法，哪种是正确的呢，被搞糊涂了。谢谢！

[Finch]

一般是多少个 partition 就有多少个 task 。
如果是 9 个 task 就没有 DAG 的必要了。

[starry97]

@Finch 一般是多少个 partition 就有多少个 task 。 那 ShuffleMapStage 中有 9 个分区，那么就有 9 个 task 了？

不过我现在知道了，是以 stage 最后 RDD 的分区数为例，还是感谢您！