企业网站的建立联系方式,厦门网站制作哪里好薇,成都php网站制作程序员,学校网站信息化建设工作心得并行度#xff08;Parallelism#xff09;
当要处理的数据量非常大时#xff0c;我们可以把一个算子操作#xff0c;“复制”多份到多个节点#xff0c;数据来了之后就可以到其中任意一个执行。这样一来#xff0c;一个算子任务就被拆分成了多个并行的“子任务”#x…并行度Parallelism
当要处理的数据量非常大时我们可以把一个算子操作“复制”多份到多个节点数据来了之后就可以到其中任意一个执行。这样一来一个算子任务就被拆分成了多个并行的“子任务”subtasks再将它们分发到不同节点就真正实现了并行计算。 一个特定算子的子任务subtask的个数 被称之为其并行度parallelism。这样包含并行子任务的数据流就是并行数据流它需要多个分区stream partition来分配并行任务。一般情况下一个流程序的并行度可以认为就是其所有算子中最大的并行度。一个程序中不同的算子可能具有不同的并行度。 例如如上图所示当前数据流中有source、map、window、sink四个算子其中sink算子的并行度为1其他算子的并行度都为2。所以这段流处理程序的并行度就是2。
并行度的设置
在Flink中可以用不同的方法来设置并行度它们的有效范围和优先级别也是不同的。
代码中设置
// 这种方式设置的并行度只针对当前算子有效。
stream.map(word - Tuple2.of(word, 1L)).setParallelism(2);
//我们也可以直接调用执行环境的setParallelism()方法全局设定并行度
env.setParallelism(2);我们一般不会在程序中设置全局并行度因为如果在程序中对全局并行度进行硬编码会导致无法动态扩容。
这里要注意的是由于keyBy不是算子所以无法对keyBy设置并行度。
提交应用时设置
# flink run命令提交应用时增加-p参数来指定当前应用程序执行的并行度,作用类似于执行环境的全局设置
bin/flink run –p 2 –c com.atguigu.wc.SocketStreamWordCount ./FlinkTutorial-1.0-SNAPSHOT.jar配置文件中设置
#在集群的配置文件flink-conf.yaml中直接更改默认并行度
# 这个设置对于整个集群上提交的所有作业有效初始值为1
# 在开发环境中没有配置文件默认并行度就是当前机器的CPU核心数。
parallelism.default: 2并行度的优先级 代码算子 代码env 提交时指定 配置文件
算子间的数据传输模式
一个数据流在算子之间传输数据的形式可以是一对一one-to-one的直通forwarding模式也可以是打乱的重分区redistributing模式具体是哪一种形式取决于算子的种类。一对一One-to-oneforwarding 这种模式下数据流维护着分区以及元素的顺序。比如source和map算子source算子读取数据之后可以直接发送给map算子做处理它们之间不需要重新分区也不需要调整数据的顺序。重分区Redistributing 在这种模式下数据流的分区会发生改变。比如图中的map和后面的keyBy/window算子之间以及keyBy/window算子和Sink算子之间都是这样的关系。
算子链Operator Chain
在Flink中并行度相同的一对一one to one算子操作可以直接链接在一起形成一个“大”的任务task这样原来的算子就成为了真正任务里的一部分如下图所示。每个task会被一个线程执行。这样的技术被称为“算子链”Operator Chain。
Flink默认会按照算子链的原则进行链接合并如果我们想要禁止合并或者自行定义也可以在代码中对算子做一些特定的设置
// 禁用算子链
.map(word - Tuple2.of(word, 1L)).disableChaining();// 从当前算子开始新链
.map(word - Tuple2.of(word, 1L)).startNewChain()
