wordpress 做购物网站,网站建设翻译成英文,微商代理怎么找货源,珠海网站建设策略什么是广播变量
分布式只读共享变量
首先广播变量是一个调优策略(可以减少数据的传输#xff0c;也就是数据从driver传输到executor)
(每一个executor都要传list数据#xff0c;如果数据太多就很慢#xff0c;采用广播变量他是一个共享只读变量#xff0c;可以减少数据传…什么是广播变量
分布式只读共享变量
首先广播变量是一个调优策略(可以减少数据的传输也就是数据从driver传输到executor)
(每一个executor都要传list数据如果数据太多就很慢采用广播变量他是一个共享只读变量可以减少数据传输种量)
下面代码演示的是不使用能进行shuffle的算子来减少网络传输用自定义逻辑实现
def main(args: Array[String]): Unit {val conf new SparkConf().setAppName(Mysql).setMaster(local[*])//创建上下文对象val sc new SparkContext(conf)val rdd1 sc.makeRDD(List((1,2),(1,2),(2,3)))val list List((1,2),(2,3),(3,3))//可以使用广播变量减少数据的传输(每一个executor都要传list数据如果数据太多就很慢采//用广播变量他是一个共享只读变量可以减少数据传输种量)//构建广播变量val broadcast sc.broadcast(list)val resultRDD rdd1.map({case (key,value) {var v2:Any null//使用广播变量for(t - broadcast.value){if (key t._2){v2 t._2}}(key,(value,v2))}})resultRDD.foreach(println)}
