关于上面那个图,ShuffleMapStage 中,有三个 RDD,每个 RDD 有三个分区 我看网上文章都是说一个分区对应一个 task,
1.上面那个 ShuffleMapStage 中阶段里是否存在 9 个 Task 。
2.但站在 pipeline 角度上看,应该只有三个 task,每个 RDD 的一个分区组合成一个 task 。
上面两种说法,哪种是正确的呢,被搞糊涂了。谢谢!
1
Finch 2020-08-05 01:01:22 +08:00 via iPhone
一般是多少个 partition 就有多少个 task 。
如果是 9 个 task 就没有 DAG 的必要了。 |