当前位置: 首页 > news >正文

娄底网站建设优化企业wordpress下载功能

娄底网站建设优化企业,wordpress下载功能,网页空间网站,天津网页制作培训1、执行计划#xff08;过往记忆https://www.iteblog.com/archives/2562.html#xff09; df.explain(true)//显示逻辑计划和物理计划#xff0c;不加true只显示物理计划 2、逻辑计划优化方法#xff1a; 谓词下推#xff0c;列裁剪#xff0c;常量替换#xff0c;常量累…1、执行计划过往记忆https://www.iteblog.com/archives/2562.html df.explain(true)//显示逻辑计划和物理计划不加true只显示物理计划 2、逻辑计划优化方法 谓词下推列裁剪常量替换常量累加   3、优化方法 数据源方面 1、hive 使用parquet格式不要用textfile。列式存储便于查询引擎做谓词下推、更优的压缩算法不同列可以采取不同的压缩算法减少IO块遍历等优化方法。 2、Kafka根据key的hash值分区OGG到Kafka 表名作为key因此不同大小的表可以更改表名均衡分到不同partition。 sparkSQL程序方面(spark优化) 1、多次用到的表做cache。默认进行压缩。 spark.sql.inMemoryColumnarStorage.compressed //默认为true为每个列选择压缩方式 spark.sql.inMemoryColumnarStorage.batchSize //默认为10000 byte 控制列缓存的批量大小。批次大有助于改善内存使用和压缩但是缓存数据会有OOM的风险 2、小于10M的表会自动broadcast走broadcast join调高广播表的大小使其走broadcast join 但是太大有可能driver端OOM-1为禁止自动广播。 当使用的外部变量较大时也可把外部变量作为广播变量进行广播。 spark.sql.autoBroadcastJoinThreshold //默认10485760 (10 MB) val listBrodcast spark.sparkContext.broadcast(list) 3、sparkSQL shuffle read partition默认为200提高可解决部分数据倾斜问题。 spark.sql.shuffle.partitions //默认200 4、读不可分割的文件一个文件一个partition若小文件过多影响效率设置多个文件写入一个分区 spark.sql.files.openCostInBytes //默认4194304 (4 MB)打开一个文件的时间可读取4MB数据因此小于4M的文件读入一个分区待验证spark.sql.files.maxPartitionBytes //默认134217728 (128 MB)文件传入一个分区里的最大字节数  5、使用高效的算子 1、reduceByKey/aggregateByKey代替groupByKey//前者partition内部会进行预聚合后者不进行预聚合直接全局shuffle 2、mapPartitions代替mapforeachpartitions 代替foreach//前者会一次性读取整个partition的数据进行处理比如建立数据库连接在foreachpartitions中不要在foreach 3、filter之后coallease 6、修改序列化器为kryo并注册序列化类 conf.set(spark.serializer, org.apache.spark.serializer.KryoSerializer)conf.registerKryoClasses(Array(classOf[MyClass1], classOf[MyClass2])  7、join方式(https://www.cnblogs.com/suanec/p/7560399.html)转载于:https://www.cnblogs.com/csyusu/p/11048383.html
http://www.huolong8.cn/news/309822/

相关文章:

  • 陕西旭泽建设有限公司网站商业网站开发设计实训总结
  • 鲜花网站建设规模设想手机网站怎么搭建
  • 郑州企业网站制作怎么做wordpress 评论ajax分页
  • seo网站排名优化软件是什么wordpress增加评论验证
  • 360建筑网官网网址宁波seo推荐
  • 国内专门做旅游攻略的网站wordpress学院主题
  • 家具网站建设食品购物网站建设
  • 怎建立自己网站做淘宝客餐饮管理培训课程
  • 自己做网站卖什么好郴州建设网站的公司
  • 企业网站建设市场前景公司取名字
  • 网站做优化按点击收费wordpress热门文章查询
  • 流量打不开网站怎么办优化什么意思
  • 网站开发岗位职责做网站备案实名需要钱吗
  • 网站建设进度及实过程网站备案单位查询系统
  • 中小型企业网站建设东营网站建设制作
  • 网站建设报价模块船舶cms是什么意思
  • 新网站多久被收录wordpress调用文章排序
  • 成都园林设计公司宁波正规优化seo公司
  • 网站建设专员工作总结电商平台要投资多少钱
  • 威海城乡建设局网站筹建网站信息技术
  • 营销型网站建设的特点深圳做网站 汉狮网络
  • 郑州东区做网站电话两岸统一最新消息
  • h5免费模板网站win7iis部署asp.net网站
  • 网站前台图片设置遵义市住房和城乡建设局官方网站6
  • 廊坊网站建设选择青橙网络温州营销网站公司
  • 网站建设推广软件新闻稿代写
  • 社交网站 ui工商局网站年检怎么做
  • so域名的网站有哪些中国建设银行网站忘记密码怎么办
  • 西安网站推广慧创科技业务型网站首页
  • 武昌做网站哪家好网站设计模板图片