当前位置: 首页 > news >正文

网页个人主页南昌seo推广优化

网页个人主页,南昌seo推广优化,竞价网络推广外包,广告投放平台投放1 数据倾斜现象 1、现象 绝大多数task任务运行速度很快#xff0c;但是就是有那么几个task任务运行极其缓慢#xff0c;慢慢的可能就接着报内存溢出的问题。 2、原因 数据倾斜一般是发生在shuffle类的算子#xff0c;比如distinct、groupByKey、reduceByKey、aggregateByKey… 1 数据倾斜现象 1、现象 绝大多数task任务运行速度很快但是就是有那么几个task任务运行极其缓慢慢慢的可能就接着报内存溢出的问题。 2、原因 数据倾斜一般是发生在shuffle类的算子比如distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup等涉及到数据重分区如果其中某一个key数量特别大就发生了数据倾斜。 2 数据倾斜大key定位 从所有key中把其中每一个key随机取出来一部分然后进行一个百分比的推算这是用局部取推算整体虽然有点不准确但是在整体概率上来说我们只需要大概就可以定位那个最多的key了 执行 spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 3 --executor-cores 2 --executor-memory 6g  --class com.atguigu.sparktuning.join.SampleKeyDemo spark-tuning-1.0-SNAPSHOT-jar-with-dependencies.jar 3 单表数据倾斜优化 为了减少shuffle数据量以及reduce端的压力通常Spark SQL在map端会做一个partial aggregate通常叫做预聚合或者偏聚合即在shuffle前将同一分区内所属同key的记录先进行一个预结算再将结果进行shuffle发送到reduce端做一个汇总类似MR的提前Combiner所以执行计划中 HashAggregate通常成对出现。 1、适用场景 聚合类的shuffle操作部分key数据量较大且大key的数据分布在很多不同的切片。 2、解决逻辑 两阶段聚合加盐局部聚合去盐全局聚合 3、案例演示 spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 3 --executor-cores 2 --executor-memory 6g  --class com.atguigu.sparktuning.skew.SkewAggregationTuning spark-tuning-1.0-SNAPSHOT-jar-with-dependencies.jar 4 Join数据倾斜优化 4.1 广播Join 1、适用场景 适用于小表join大表。小表足够小可被加载进Driver并通过Broadcast方法广播到各个Executor中。 2、解决逻辑 在小表join大表时如果产生数据倾斜那么广播join可以直接规避掉此shuffle阶段。直接优化掉stage。并且广播join也是Spark Sql中最常用的优化方案。 3、案例演示 2.2.2中的PartitionTuning案例关闭了广播join可以看到数据倾斜 spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 3 --executor-cores 2 --executor-memory 6g  --class com.atguigu.sparktuning.skew.SkewMapJoinTuning spark-tuning-1.0-SNAPSHOT-jar-with-dependencies.jar 4.2 拆分大key 打散大表 扩容小表 1、适用场景 适用于join时出现数据倾斜。 2、解决逻辑 1将存在倾斜的表根据抽样结果拆分为倾斜keyskew表和没有倾斜keycommon的两个数据集。 2将skew表的key全部加上随机前缀然后对另外一个不存在严重数据倾斜的数据集old表整体与随机前缀集作笛卡尔乘积即将数据量扩大N倍得到new表。 3打散的skew表  join 扩容的new表 union        Common表  join old表 以下为打散大key和扩容小表的实现思路 1打散大表实际就是数据一进一出进行处理对大key前拼上随机前缀实现打散 2扩容小表实际就是将DataFrame中每一条数据转成一个集合并往这个集合里循环添加10条数据最后使用flatmap压平此集合达到扩容的效果. 3、案例演示 spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 3 --executor-cores 2 --executor-memory 6g  --class com.atguigu.sparktuning.skew.SkewJoinTuning spark-tuning-1.0-SNAPSHOT-jar-with-dependencies.jar 4.3 开启AQE 1spark.sql.adaptive.skewJoin.enabled  :是否开启倾斜join检测如果开启了那么会将倾斜的分区数据拆成多个分区,默认是开启的但是得打开aqe。 2spark.sql.adaptive.skewJoin.skewedPartitionFactor :默认值5此参数用来判断分区数据量是否数据倾斜当任务中最大数据量分区对应的数据量大于的分区中位数乘以此参数并且也大于spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes参数那么此任务是数据倾斜。 3spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes :默认值256mb用于判断是否数据倾斜 4spark.sql.adaptive.advisoryPartitionSizeInBytes :此参数用来告诉spark进行拆分后推荐分区大小是多少。 spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 3 --executor-cores 4 --executor-memory 2g  --class com.atguigu.sparktuning.aqe.AqeOptimizingSkewJoin spark-tuning-1.0-SNAPSHOT-jar-with-dependencies.jar  如果同时开启了spark.sql.adaptive.coalescePartitions.enabled动态合并分区功能那么会先合并分区再去判断倾斜将动态合并分区打开后重新执行 spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 3 --executor-cores 4 --executor-memory 2g  --class com.atguigu.sparktuning.aqe.AqeOptimizingSkewJoin spark-tuning-1.0-SNAPSHOT-jar-with-dependencies.jar  修改中位数的倍数为2重新执行 spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 3 --executor-cores 4 --executor-memory 2g  --class com.atguigu.sparktuning.aqe.AqeOptimizingSkewJoin
http://www.huolong8.cn/news/298908/

相关文章:

  • 重庆新闻头条24小时抖音seo推广外包公司好做吗
  • 湖南响应式官网建设哪家好做搜狗网站优化点击软
  • 漳州做网站开发多语种网站怎么做搜索引擎排名
  • 辽宁城乡住房建设厅网站wordpress do_
  • 三网合一 网站建设做网站如何处理并发问题
  • 从零开始学习网站建设网站模板怎么建设
  • 做旅游攻略比较好的网站兰州网站建设人才招聘
  • 建个小型网站服务器如何做拼车网站app
  • 重庆做网站开发的公司网店装修素材网站
  • 网站出现的问题网页制作指南
  • 网站路径网页微信版怎设置字体大小
  • 凡科网站建设总结开源手机建站系统
  • 网站建设如何定价seo优化宣传
  • 自己站网站现在什么网站做基础销量好
  • 个人主页网站html京icp备案证号查询
  • 西安做网站比较好的公司怎样建立一个网络销售平台
  • 网站建设公司简介范文网站的建设需要多少
  • seo网站内容更新织梦网站做关键词
  • 网站如何做网站征求意见专栏怎么快速推广
  • 萝岗微信网站建设小程序商城开发多少钱
  • 网站开发需要朝阳市网站建设
  • gateface做网站南阳网站建设费用
  • 获胜者网站建设伊春百姓网免费发布信息网
  • 做购物网站哪种服务器好如何把本地网站
  • 茶的网站制作运动服饰网站建设项目规划书
  • 麻章手机网站建设公司好看简洁的logo设计
  • 做关键词优化需要修改网站标题在线制作ppt
  • 南充网站建设有哪些互联网装修公司品牌
  • 网站建设中图片多少钱可以举报一个做网络网站发大财吗
  • 学校门户网站什么意思直播网站开发源码