spark中如何看有多少个并发的task啊

0
已邀请:
0

regan - run! run! run! happy runner! 我是奔跑的小米~ 2017-04-06 回答

你可以通过rdd.partitions.size在程序里面查看,比较方便的是你可以在spark-shell中
val a = spark.range(1,100,9)
a.rdd.partitions.size直接可以在console窗口打印出来看到。
第二中方式是你可以通过SparkUI查看

1.png

 
 
 程序的并行度是由partitions的大小决定的,一个partition对应一个task。可以通过repartions或coalease进行合理的设置
0

MarsJ - 大数据玩家~DS 2017-04-13 回答

楼上正解,还可以在Web UI上查看到Spark的每一个Executor并行了多少个Task,善于利用Web UI的信息会有意向不到的收获。

要回复问题请先登录注册