做怎样的企业网站,营销型网站创建,注册网站需要房产证,长沙网站建设软件#x1f388; 作者#xff1a;互联网-小啊宇 #x1f388; 简介#xff1a; CSDN 运维领域创作者、阿里云专家博主。目前从事 Kubernetes运维相关工作#xff0c;擅长Linux系统运维、开源监控软件维护、Kubernetes容器技术、CI/CD持续集成、自动化运维、开源软件部署维护… 作者互联网-小啊宇 简介 CSDN 运维领域创作者、阿里云专家博主。目前从事 Kubernetes运维相关工作擅长Linux系统运维、开源监控软件维护、Kubernetes容器技术、CI/CD持续集成、自动化运维、开源软件部署维护等领域。 博客首页CSDN【互联网-小阿宇】 、阿里云【互联网-小阿宇】 欢迎小伙伴们点赞、收藏⭐、留言 RocketMQ双主双从同步集群部署 服务器环境双主双从同步集群部署一、安装JDK环境1.1 上传安装包1.2 解压安装包1.3 编写环境变量文件1.4 验证JDK版本 二、安装RocketMQ1.1 解压安装包1.2 【192.168.8.16】修改配置文件1.3 【192.168.8.18】修改配置文件1.4 关键配置详解1.5 启动两台服务器的nameServer1.6 分别启动两台服务器的broker的节点1.6.1 【192.168.8.16】启动a主节点、b从节点1.6.2 【192.168.8.18】启动b主节点、a从节点 1.7 启动效果1.8 常用启停命令 三、rocketmq-dashboard 控制台部署1.1 下载安装包到电脑主机编写application.yml配置文件1.2 将rocketmq-dashboard-master打包1.2.1 如果主机有java环境、maven环境的直接进行打包就行1.2.2 linux安装maven进行打包 1.3 启动rocketmq-dashboard 控制台1.4 开启鉴权登录 服务器环境
服务器IP操作系统备注192.168.8.16Centos7.5JDK(1.8)、RocketMQ(5.1.2)192.168.8.18Centos7.5JDK(1.8)、RocketMQ(5.1.2) RocketMQ下载地址https://rocketmq.apache.org/download/ 双主双从同步集群部署
服务器IPbroker名称备注192.168.8.16broker-aa主节点192.168.8.16broker-b-sb从节点192.168.8.18broker-bb主节点192.168.8.18broker-a-sa从节点
创建安装目录并存放安装包目录
mkdir /domain关闭防火墙、沙盒
systemctl stop firewalld systemctl disable firewalldvim /etc/selinux/config
#修改
ELINUXdisabled#重启
reboot一、安装JDK环境 1.1 上传安装包 1.2 解压安装包
[rootlocalhost ~]# tar -zxf /domain/jdk-8u171-linux-x64.tar.gz -C /usr/local/
[rootlocalhost ~]# mv /usr/local/jdk1.8.0_171 /usr/local/java1.3 编写环境变量文件
[rootlocalhost ~]# vim /etc/profile
#尾部添加
export JAVA_HOME/usr/local/java
export JRE_HOME$JAVA_HOME/jre
export CLASSPATH$JAVA_HOME/lib:$JRE_HOME/lib
export PATH$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
[rootlocalhost ~]# source /etc/profile1.4 验证JDK版本
[rootlocalhost ~]# java -version
java version 1.8.0_171
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)二、安装RocketMQ 1.1 解压安装包 unzip /domain/rocketmq-all-5.1.2-bin-release.zip -d /domain/1.2 【192.168.8.16】修改配置文件
修改运行内存可编辑runserver.sh与runbroker.sh需要的修改不需要跳过
1、bin/runserver.shJAVA_OPT${JAVA_OPT} -server -Xms520m -Xmx1g -Xmn128m -XX:metaspaceSize120m -XX:MaxMetaspaceSize320m
2、bin/runnbroker.shJAVA_OPT${JAVA_OPT} -server -Xms520m -Xmx1G -Xmn128m创建rocketMQ存储目录
mkdir /domain/rocketMQ修改conf目录中2m-2s-sync目录中的配置文件
vim /domain/rocketmq-all-5.1.2-bin-release/conf/2m-2s-sync/broker-a.properties
# 所属集群名字
brokerClusterNametest
# broker名字注意此处不同的配置文件填写的不一样按配置文件文件名来匹配
brokerNamebroker-a
# 0 表示Master, 0 表示slave
brokerId0
# 注册中心可使用集群模式
namesrvAddr192.168.8.16:9876;192.168.8.18:9876
# 在发送消息时自动创建服务器不存在的Topic默认创建的队列数
defaultTopicQueueNums4
# 是否允许Broker 自动创建Topic建议线下开启线上关闭
autoCreateTopicEnabletrue
# 是否允许Broker自动创建订阅组建议线下开启线上关闭
autoCreateSubscriptionGrouptrue
# Broker 对外服务的监听端口
listenPort10933
# 删除文件时间点默认是凌晨4点
deleteWhen04
# 文件保留时间默认48小时
fileReservedTime120
# commitLog每个文件的大小默认1G
# 附加消息实际存储位置和ConsumeQueue是mq的核心存储概念之前搭建2m环境的时候创建在store下面用于数据存储consumequeue是一个逻辑的概念消息过来之后consumequeue并不是把消息所有保存起来而是记录一个数据的位置记录好之后再把消息存到commitlog文件里
mapedFileSizeCommitLog1073741824
# ConsumeQueue每个文件默认存30W条根据业务情况调整
mapedFileSizeConsumeQueue300000
destroyMapedFileIntervalForcibly120000
redeleteHangedFileInterval120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio88
# 存储路径
storePathRootDir/domain/rocketMQ/store
# commitLog存储路径
storePathCommitLog/domain/rocketMQ/commitlog
# 消费队列存储路径
storePathConsumeQueue/domain/rocketMQ/consumequeue
# 消息索引存储路径
storePathIndex/domain/rocketMQ/index
# checkpoint 文件存储路径
storeCheckpoint/domain/rocketMQ/checkpoint
# abort 文件存储路径
abortFile/domain/rocketMQ/abort
# 限制的消息大小
maxMessageSize65536
flushCommitLogLeastPages4
flushConsumeQueueLeastPages2
flushCommitLogThoroughInterval10000
flushConsumeQueueThoroughInterval60000
# Broker 的角色
# ASYNC_MASTER 异步复制Master
# SYNC_MASTER 同步双写Master
# SLAVE
brokerRoleSYNC_MASTER
# 刷盘方式
# ASYNC_FLUSH 异步刷盘
# SYNC_FLUSH 同步刷盘
flushDiskTypeASYNC_FLUSH
checkTransactionMessageEnablefalse
# 发消息线程池数量
sendMessageTreadPoolNums128
# 拉消息线程池数量
pullMessageTreadPoolNums128slave配置
cat /domain/rocketmq-all-5.1.2-bin-release/conf/2m-2s-sync/broker-b-s.properties
# 所属集群名字
brokerClusterNametest
# broker名字注意此处不同的配置文件填写的不一样按配置文件文件名来匹配
brokerNamebroker-b-s
# 0 表示Master, 0 表示slave
brokerId1
# 注册中心可使用集群模式
namesrvAddr192.168.8.16:9876;192.168.8.18:9876
# 在发送消息时自动创建服务器不存在的Topic默认创建的队列数
defaultTopicQueueNums4
# 是否允许Broker 自动创建Topic建议线下开启线上关闭
autoCreateTopicEnabletrue
# 是否允许Broker自动创建订阅组建议线下开启线上关闭
autoCreateSubscriptionGrouptrue
# Broker 对外服务的监听端口
listenPort10900
# 删除文件时间点默认是凌晨4点
deleteWhen04
# 文件保留时间默认48小时
fileReservedTime120
# commitLog每个文件的大小默认1G
# 附加消息实际存储位置和ConsumeQueue是mq的核心存储概念之前搭建2m环境的时候创建在store下面用于数据存储consumequeue是一个逻辑的概念消息过来之后consumequeue并不是把消息所有保存起来而是记录一个数据的位置记录好之后再把消息存到commitlog文件里
mapedFileSizeCommitLog1073741824
# ConsumeQueue每个文件默认存30W条根据业务情况调整
mapedFileSizeConsumeQueue300000
destroyMapedFileIntervalForcibly120000
redeleteHangedFileInterval120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio88
# 存储路径
storePathRootDir/domain/rocketMQ/slave/store
# commitLog存储路径
storePathCommitLog/domain/rocketMQ/slave/commitlog
# 消费队列存储路径
storePathConsumeQueue/domain/rocketMQ/slave/consumequeue
# 消息索引存储路径
storePathIndex/domain/rocketMQ/slave/index
# checkpoint 文件存储路径
storeCheckpoint/domain/rocketMQ/slave/checkpoint
# abort 文件存储路径
abortFile/domain/rocketMQ/slave/abort
# 限制的消息大小
maxMessageSize65536
flushCommitLogLeastPages4
flushConsumeQueueLeastPages2
flushCommitLogThoroughInterval10000
flushConsumeQueueThoroughInterval60000
# Broker 的角色
# ASYNC_MASTER 异步复制Master
# SYNC_MASTER 同步双写Master
# SLAVE
brokerRoleSLAVE
# 刷盘方式
# ASYNC_FLUSH 异步刷盘
# SYNC_FLUSH 同步刷盘
flushDiskTypeASYNC_FLUSH
checkTransactionMessageEnablefalse
# 发消息线程池数量
sendMessageTreadPoolNums128
# 拉消息线程池数量
pullMessageTreadPoolNums128
1.3 【192.168.8.18】修改配置文件
与192.168.8.16的区别在于修改的文件名不同我把详细配置一样放在下面
修改运行内存可编辑runserver.sh与runbroker.sh需要的修改不需要跳过
1、bin/runserver.shJAVA_OPT${JAVA_OPT} -server -Xms520m -Xmx1g -Xmn128m -XX:metaspaceSize120m -XX:MaxMetaspaceSize320m
2、bin/runnbroker.shJAVA_OPT${JAVA_OPT} -server -Xms520m -Xmx1G -Xmn128m创建rocketMQ存储目录
mkdir /domain/rocketMQ修改conf目录中2m-2s-sync目录中的配置文件
vim /domain/rocketmq-all-5.1.2-bin-release/conf/2m-2s-sync/broker-b.properties
# 所属集群名字
brokerClusterNametest
# broker名字注意此处不同的配置文件填写的不一样按配置文件文件名来匹配
brokerNamebroker-b
# 0 表示Master, 0 表示slave
brokerId0
# 注册中心可使用集群模式
namesrvAddr192.168.8.16:9876;192.168.8.18:9876
# 在发送消息时自动创建服务器不存在的Topic默认创建的队列数
defaultTopicQueueNums4
# 是否允许Broker 自动创建Topic建议线下开启线上关闭
autoCreateTopicEnabletrue
# 是否允许Broker自动创建订阅组建议线下开启线上关闭
autoCreateSubscriptionGrouptrue
# Broker 对外服务的监听端口
listenPort10933
# 删除文件时间点默认是凌晨4点
deleteWhen04
# 文件保留时间默认48小时
fileReservedTime120
# commitLog每个文件的大小默认1G
# 附加消息实际存储位置和ConsumeQueue是mq的核心存储概念之前搭建2m环境的时候创建在store下面用于数据存储consumequeue是一个逻辑的概念消息过来之后consumequeue并不是把消息所有保存起来而是记录一个数据的位置记录好之后再把消息存到commitlog文件里
mapedFileSizeCommitLog1073741824
# ConsumeQueue每个文件默认存30W条根据业务情况调整
mapedFileSizeConsumeQueue300000
destroyMapedFileIntervalForcibly120000
redeleteHangedFileInterval120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio88
# 存储路径
storePathRootDir/domain/rocketMQ/store
# commitLog存储路径
storePathCommitLog/domain/rocketMQ/commitlog
# 消费队列存储路径
storePathConsumeQueue/domain/rocketMQ/consumequeue
# 消息索引存储路径
storePathIndex/domain/rocketMQ/index
# checkpoint 文件存储路径
storeCheckpoint/domain/rocketMQ/checkpoint
# abort 文件存储路径
abortFile/domain/rocketMQ/abort
# 限制的消息大小
maxMessageSize65536
flushCommitLogLeastPages4
flushConsumeQueueLeastPages2
flushCommitLogThoroughInterval10000
flushConsumeQueueThoroughInterval60000
# Broker 的角色
# ASYNC_MASTER 异步复制Master
# SYNC_MASTER 同步双写Master
# SLAVE
brokerRoleSYNC_MASTER
# 刷盘方式
# ASYNC_FLUSH 异步刷盘
# SYNC_FLUSH 同步刷盘
flushDiskTypeASYNC_FLUSH
checkTransactionMessageEnablefalse
# 发消息线程池数量
sendMessageTreadPoolNums128
# 拉消息线程池数量
pullMessageTreadPoolNums128
slave配置
cat /domain/rocketmq-all-5.1.2-bin-release/conf/2m-2s-sync/broker-a-s.properties
# 所属集群名字
brokerClusterNametest
# broker名字注意此处不同的配置文件填写的不一样按配置文件文件名来匹配
brokerNamebroker-a-s
# 0 表示Master, 0 表示slave
brokerId1
# 注册中心可使用集群模式
namesrvAddr192.168.8.16:9876;192.168.8.18:9876
# 在发送消息时自动创建服务器不存在的Topic默认创建的队列数
defaultTopicQueueNums4
# 是否允许Broker 自动创建Topic建议线下开启线上关闭
autoCreateTopicEnabletrue
# 是否允许Broker自动创建订阅组建议线下开启线上关闭
autoCreateSubscriptionGrouptrue
# Broker 对外服务的监听端口
listenPort10900
# 删除文件时间点默认是凌晨4点
deleteWhen04
# 文件保留时间默认48小时
fileReservedTime120
# commitLog每个文件的大小默认1G
# 附加消息实际存储位置和ConsumeQueue是mq的核心存储概念之前搭建2m环境的时候创建在store下面用于数据存储consumequeue是一个逻辑的概念消息过来之后consumequeue并不是把消息所有保存起来而是记录一个数据的位置记录好之后再把消息存到commitlog文件里
mapedFileSizeCommitLog1073741824
# ConsumeQueue每个文件默认存30W条根据业务情况调整
mapedFileSizeConsumeQueue300000
destroyMapedFileIntervalForcibly120000
redeleteHangedFileInterval120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio88
# 存储路径
storePathRootDir/domain/rocketMQ/slave/store
# commitLog存储路径
storePathCommitLog/domain/rocketMQ/slave/commitlog
# 消费队列存储路径
storePathConsumeQueue/domain/rocketMQ/slave/consumequeue
# 消息索引存储路径
storePathIndex/domain/rocketMQ/slave/index
# checkpoint 文件存储路径
storeCheckpoint/domain/rocketMQ/slave/checkpoint
# abort 文件存储路径
abortFile/domain/rocketMQ/slave/abort
# 限制的消息大小
maxMessageSize65536
flushCommitLogLeastPages4
flushConsumeQueueLeastPages2
flushCommitLogThoroughInterval10000
flushConsumeQueueThoroughInterval60000
# Broker 的角色
# ASYNC_MASTER 异步复制Master
# SYNC_MASTER 同步双写Master
# SLAVE
brokerRoleSLAVE
# 刷盘方式
# ASYNC_FLUSH 异步刷盘
# SYNC_FLUSH 同步刷盘
flushDiskTypeASYNC_FLUSH
checkTransactionMessageEnablefalse
# 发消息线程池数量
sendMessageTreadPoolNums128
# 拉消息线程池数量
pullMessageTreadPoolNums1281.4 关键配置详解 brokerClusterName只要是同一个集群里面的节点都必须是这一个名称可以自定义 brokerNamebroker的名称同一个broker的主从节点名称保持一致。 brokerIdbroker的id标识。0主节点大于0都是从节点 namesrvAddrnameSrv的注册中心地址可以是集群模式多个ip之间使用英文的;分隔 listenPort监听端口同一个ip地址下端口不能保持一致需修改 brokerRolebroker的角色ASYNC_MASTER 异步复制MasterSYNC_MASTER 同步双写MasterSLAVE从节点专用。 flushDiskType数据刷盘方式。ASYNC_FLUSH 异步刷盘SYNC_FLUSH 同步刷盘 storePathRootDir/usr/local/rocketMQ/store 存储路径 storePathCommitLog/usr/local/rocketMQ/commitlog commitLog存储路径 storePathConsumeQueue/usr/local/rocketMQ/consumequeue 消费队列存储路径 storePathIndex/usr/local/rocketMQ/index消息索引存储路径 storeCheckpoint/usr/local/rocketMQ/checkpoint checkpoint 文件存储路径 abortFile/usr/local/rocketMQ/abort abort 文件存储路径 1.5 启动两台服务器的nameServer
cd /domain/rocketmq-all-5.1.2-bin-release/bin
nohup sh mqnamesrv - namesrc.log 21 1.6 分别启动两台服务器的broker的节点
1.6.1 【192.168.8.16】启动a主节点、b从节点
#a主节点
cd /domain/rocketmq-all-5.1.2-bin-release/bin
nohup sh mqbroker -c /domain/rocketmq-all-5.1.2-bin-release/conf/2m-2s-sync/broker-a.properties - broker-a.log 21 #b从节点
cd /domain/rocketmq-all-5.1.2-bin-release/bin
nohup sh mqbroker -c /domain/rocketmq-all-5.1.2-bin-release/conf/2m-2s-sync/broker-b-s.properties - broker-b-s.log 21 1.6.2 【192.168.8.18】启动b主节点、a从节点
#b主节点
cd /domain/rocketmq-all-5.1.2-bin-release/bin
nohup sh mqbroker -c /domain/rocketmq-all-5.1.2-bin-release/conf/2m-2s-sync/broker-b.properties - broker-b.log 21 #a从节点
cd /domain/rocketmq-all-5.1.2-bin-release/bin
nohup sh mqbroker -c /domain/rocketmq-all-5.1.2-bin-release/conf/2m-2s-sync/broker-a-s.properties - broker-a-s.log 21 1.7 启动效果
两台都一样
1.8 常用启停命令
sh mqshutdown broker 停止brokersh mqshutdown namesrv 停止namesrv三、rocketmq-dashboard 控制台部署 下载地址 https://github.com/apache/rocketmq-dashboard
1.1 下载安装包到电脑主机编写application.yml配置文件
文件位置rocketmq-dashboard-master\src\main\resources\application.yml右键使用记事本打开 修改以下内容为节点IP namesrvAddrs:- 192.168.8.16:9876- 192.168.8.18:9876编辑完成后保存退出
1.2 将rocketmq-dashboard-master打包
1.2.1 如果主机有java环境、maven环境的直接进行打包就行
在pom.xml同级目录操作命令
mvn clean package -Dmaven.test.skiptrue如果报错根据报错原因进行解决
有可能是maven的版本过低进行升级即可有可能用的自己的maven配置部分依赖无法下载通过指定项目本身pom.xml
mvn clean package -Dmaven.test.skiptrue -f C:\Desktop\rocketmq-dashboard-master\rocketmq-dashboard-master\pom.xml打包成功后将jar包上传到服务器
1.2.2 linux安装maven进行打包
Maven工具安装http://t.csdn.cn/IIZVH 将修改过application.yml配置的目录上传到服务器
[rootlocalhost rocketmq-dashboard-master]# pwd
/root/rocketmq-dashboard-master/rocketmq-dashboard-master
[rootlocalhost rocketmq-dashboard-master]# ls
docs frontend LICENSE NOTICE package-lock.json pom.xml README.md src style targetmaven打包
mvn clean package -Dmaven.test.skiptrue -f pom.xml成功界面 如果有报错可能是因为maven版本太低通过yum -y install maven安装版本为Apache Maven 3.0.5版本太低导致报错进行升级即可
1.3 启动rocketmq-dashboard 控制台
cd /root/rocketmq-dashboard-master/rocketmq-dashboard-master/target
nohup java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar - dashboard.log 21 查看日志成功启动 关闭防火墙
方式一建议测试环境
1、关闭防火墙。
systemctl stop firewalld
方式二生产环境使用
1、开放指定的端口号firewall-cmd --zonepublic --add-port8080/tcp --permanent
2、重启防火墙firewall-cmd --reload
注意使用方式二就需要将nameServer 与 broker 的端口也需要开放出来。使用了那个端口就必须开放出来否则会被防火墙给阻挡。访问rocketmq-dashboard 控制台 访问http://ip:8080
1.4 开启鉴权登录
对resource下的application.yml文件进行编辑 对resource下的user.properties修改
用户名密码,角色:1、管理员 2、普通用户
重新打包
cd pom.xml同级目录
mvn clean package -Dmaven.test.skiptrue -f pom.xml运行rocketmq-dashboard 控制台
cd /root/rocketmq-dashboard-master/rocketmq-dashboard-master/target访问rocketmq-dashboard 控制台 访问http://ip:8080
