wap网站搜索,最新的军事新闻,台州网警,网站怎么上传ftp对combiner的理解 combiner其实属于优化方案#xff0c;由于带宽限制#xff0c;应该尽量map和reduce之间的数据传输数量。它在Map端把同一个key的键值对合并在一起并计算#xff0c;计算规则与reduce一致#xff0c;所以combiner也可以看作特殊的Reducer。 执行combiner操…对combiner的理解 combiner其实属于优化方案由于带宽限制应该尽量map和reduce之间的数据传输数量。它在Map端把同一个key的键值对合并在一起并计算计算规则与reduce一致所以combiner也可以看作特殊的Reducer。 执行combiner操作要求开发者必须在程序中设置了combiner(程序中通过job.setCombinerClass(myCombine.class)自定义combiner操作)。 Combiner组件是用来做局部汇总的就在mapTask中进行汇总Reducer组件是用来做全局汇总的最终的最后一次汇总。 哪里使用combiner? 1map输出数据根据分区排序完成后在写入文件之前会执行一次combine操作(前提是作业中设置了这个操作); 2如果map输出比较大溢出文件个数大于3(此值可以通过属性min.num.spills.for.combine配置)时在merge的过程(多个spill文件合并为一个大文件)中前还会执行combiner操作; 注意事项 不是每种作业都可以做combiner操作的只有满足以下条件才可以 1、Combiner 只能对 一个mapTask的中间结果进行汇总 2、如果想使用Reducer直接充当Combiner那么必须满足 Reducer的输入和输出key-value类型是一致的。 1处于两个不同节点的mapTask的结果不能combiner到一起 2处于同一个节点的两个MapTask的结果不能否combiner到一起 3求最大值、求最小值、求和、去重时可直接使用Reducer充当Combiner但是求平均值时不能直接使用Reducer充当Combiner。 原因对2组值求平均值 2 3 4 5 6 20 / 5 4 4 5 6 15 / 3 5 *********************************************************************** 2015 / 53 35 / 8 4.5
