#withScope

scala语法在spark withScope上的应用

withSpout在spark中是用来做DAG可视化的,它在代码里的用法如下(以map为例,spark2.0.0版本)defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPartitionsRDD[U,T](this,(co...