怎样创建自己的网站,做网站的公司怎么推广,电子商务网站建设讯息,做wish选品网站 数据网站Flink集群运行模式--Standalone运行模式 一、实验目的二、实验内容三、实验原理四、实验环境五、实验步骤5.1 部署模式5.1.1 会话模式#xff08;Session Mode#xff09;5.1.2 单作业模式#xff08;Per-Job Mode#xff09;5.1.3 应用模式#xff08;Application ModeSession Mode5.1.2 单作业模式Per-Job Mode5.1.3 应用模式Application Mode 5.2 Standalone运行模式5.2.1 会话模式部署5.2.2 单作业模式部署5.2.3 应用模式部署 ⚠申明 未经许可禁止以任何形式转载若要引用请标注链接地址。 全文共计2391字阅读大概需要3分钟 更多学习内容 欢迎关注【文末】我的个人微信公众号不懂开发的程序猿 个人网站https://jerry-jy.co/ 一、实验目的
掌握Standalone集群搭建的过程。 掌握Flink的三种部署模式
二、实验内容
1、搭建Flink集群–Standalone运行模式 2、集群的启动停止、提交作业
三、实验原理
独立模式是独立运行的不依赖任何外部的资源管理平台 当然独立也是有代价的如果资源不足或者出现故障没有自动扩展或重分配资源的保证必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。
四、实验环境
硬件x86_64 CentOS 7.5 服务器 软件JDK1.8Flink-1.17.1Hadoop-3.3.3IntelliJ Idea-2022
五、实验步骤 开始实验之前需要先了解Flink集群部署的三种模式 5.1 部署模式
在一些应用场景中对于集群资源分配和占用的方式可能会有特定的需求。Flink为各种场景提供了不同的部署模式主要有以下三种会话模式Session Mode、单作业模式Per-Job Mode、应用模式Application Mode。 它们的区别主要在于集群的生命周期以及资源的分配方式以及应用的main方法到底在哪里执行——客户端Client还是JobManager。
5.1.1 会话模式Session Mode 5.1.2 单作业模式Per-Job Mode 5.1.3 应用模式Application Mode 这里我们所讲到的部署模式相对是比较抽象的概念。实际应用时一般需要和资源管理平台结合起来选择特定的模式来分配资源、部署应用。
5.2 Standalone运行模式
5.2.1 会话模式部署
我们在上一节用的就是Standalone集群的会话模式部署。 提前启动集群并通过Web页面客户端提交任务可以多个任务但是集群资源固定。 5.2.2 单作业模式部署
Flink的Standalone集群并不支持单作业模式部署。因为单作业模式需要借助一些资源管理平台。
5.2.3 应用模式部署
应用模式下不会提前创建集群所以不能调用start-cluster.sh脚本。我们可以使用同样在bin目录下的standalone-job.sh来创建一个JobManager。 具体步骤如下 0环境准备。在hadoop102中执行以下命令启动netcat。
[roothadoop102 flink-1.17.1]$ nc -lk 77771进入到Flink的安装路径下将应用程序的jar包放到lib/目录下。
[roothadoop102 flink-1.17.1]$ mv FlinkTutorial-1.0-SNAPSHOT.jar lib/2执行以下命令启动JobManager。
[roothadoop102 flink-1.17.1]$ bin/standalone-job.sh start --job-classname com.jerry.wordcount.WordCountUnboundedDemo这里我们直接指定作业入口类脚本会到lib目录扫描所有的jar包。 3同样是使用bin目录下的脚本启动TaskManager。
[roothadoop102 flink-1.17.1]$ bin/taskmanager.sh start4在hadoop102上模拟发送单词数据。
[roothadoop102 ~]$ nc -lk 7777hello java
hello flink5在hadoop102:8081地址中观察输出数据
6如果希望停掉集群同样可以使用脚本命令如下。
[roothadoop102 flink-1.17.1]$ bin/taskmanager.sh stop
[roothadoop102 flink-1.17.1]$ bin/standalone-job.sh stop–end–
