RocketMQ 4.x 基础概念

安装

下载地址 官方文档

  1. 启动NameServer

    1
    2
    3
    4
    #进入rocketMQ的目录
    nohup sh bin/mqnamesrv &
    #查看日志
    tail -f ~/logs/rocketmqlogs/namesrv.log

  2. 启动Broker

    1
    2
    3
    nohup sh bin/mqbroker -n localhost:9876 autoCreateTopicEnable=true &
    #查看日志
    tail -f ~/logs/rocketmqlogs/broker.log

  3. 关闭

    1
    2
    3
    4
    #关闭Nameserver
    sh bin/mqshutdown namesrv
    #关闭Broker
    sh bin/mqshutdown broker

  4. 启动遇见的问题

    RocketMQ默认的虚拟机内存比较大，启动的时候如果启动失败，可能是机器内存不够，需要编辑启动文件

    1
    2
    vi runbroker.sh
    vi runserver.sh

    参考配置：

    1
    JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

5.磁盘空间不足的问题

rocketMQ默认需要的磁盘空间较大，当磁盘空间不足时，生产者无法写入消息，需要再runbroker.sh中的内存配置里增加启动参数：

1
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -Drocketmq.broker.diskSpaceWarningLevelRatio=0.98"

测试

发送消息

1
2
3
4
# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.使用安装包的Demo发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

接收消息

1
2
3
4
# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

集群

  • Producer：消息的发送者；举例：发信者
  • Consumer：消息接收者；举例：收信者
  • Broker：暂存和传输消息；举例：邮局
  • NameServer：管理Broker；举例：各个邮局的管理机构
  • Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
  • Message Queue：相当于是Topic的分区；用于并行发送和接收消息

rocketmq-01

集群特点

  • NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
  • Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。
  • Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。
  • Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

集群模式

单Master模式

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

多Master模式

一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下：

  • 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
  • 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。

多Master多Slave模式（异步）

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

  • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
  • 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

多Master多Slave模式（同步）

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

  • 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
  • 缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。

单机模式

在正常情况下，如果broker和nameserver在同一台机器中访问，并且服务不开放给其他机器使用时，可以直接使用-n localhost:9876作为broker的启动参数。

但是在需要指定具体机器IP的情况下，则会出现broker无法找到对应nameserver的情况，需要自行编写配置文件作为启动参数。

1
2
#假设这里的rocketmq的目录是 /home/local/rocketMQ/rocketmq-all-4.7.1-bin-release/
vi ./conf/broker.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-midkuro
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址 分号';'分割
namesrvAddr=192.168.1.131:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#检测物理文件磁盘空间，太小会导致无法使用消息队列
diskMaxUsedSpaceRatio=90
#多网卡时配置，需要外网访问则配置外网IP
brokerIP1=192.168.1.131

启动Broker命令：

1
nohup sh bin/mqbroker -n 192.168.1.131:9876 -c ./conf/broker.conf &

双主双从

rocketmq-02

序号 IP 角色 架构模式
1 192.168.1.131 nameserver、brokerserver Master1、Slave2
2 192.168.1.131 nameserver、brokerserver Master2、Slave1

Host添加信息

1
vim /etc/hosts

配置如下:

1
2
3
4
5
6
7
8
# nameserver
192.168.1.131 rocketmq-nameserver1
192.168.1.134 rocketmq-nameserver2
# broker
192.168.1.131 rocketmq-master1
192.168.1.131 rocketmq-slave2
192.168.1.134 rocketmq-master2
192.168.1.134 rocketmq-slave1

配置完成后, 重启网卡

1
systemctl restart network

防火墙配置

宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙

1
2
3
4
5
6
# 关闭防火墙
systemctl stop firewalld.service 
# 查看防火墙的状态
firewall-cmd --state 
# 禁止firewall开机启动
systemctl disable firewalld.service

或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：

  • nameserver 默认使用 9876 端口
  • master 默认使用 10911 端口
  • slave 默认使用11011 端口

执行以下命令：

1
2
3
4
5
6
7
8
# 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重启防火墙
firewall-cmd --reload

环境变量配置

1
vim /etc/profile

在profile文件的末尾加入如下命令

1
2
3
4
#set rocketmq
ROCKETMQ_HOME=/home/local/rocketMQ/rocketmq-all-4.7.1-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

输入:wq! 保存并退出， 并使得配置立刻生效：

1
source /etc/profile

创建消息存储路径

1
2
3
4
mkdir /home/local/rocketMQ/store
mkdir /home/local/rocketMQ/commitlog
mkdir /home/local/rocketMQ/consumequeue
mkdir /home/local/rocketMQ/index

broker配置文件

当前目录：/home/local/rocketMQ/rocketmq-all-4.7.1-bin-release/

master1

服务器：192.168.1.131

1
vi ./conf/2m-2s-sync/broker-a.properties

注释掉原来的配置，并修改配置如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
#网卡IP
brokerIP1=192.168.1.131
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址 分号';'分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/local/rocketMQ/broker-a/store
#commitLog 存储路径
storePathCommitLog=/home/local/rocketMQ/broker-a/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/local/rocketMQ/broker-a/consumequeue
#消息索引存储路径
storePathIndex=/home/local/rocketMQ/broker-a/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/local/rocketMQ/broker-a/store/checkpoint
#abort 文件存储路径
abortFile=/home/local/rocketMQ/broker-a/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

slave2

服务器：192.168.1.131

1
vi ./conf/2m-2s-sync/broker-b-s.properties

拷贝上面的broker-a.properties内容，并修改相关配置，如下：

1
2
3
4
5
brokerName=broker-b
brokerId=1
#Broker 对外服务的监听端口
listenPort=11011
brokerRole=SLAVE

master2

服务器：192.168.1.134

1
vi ./conf/2m-2s-sync/broker-b.properties

拷贝上面的broker-a.properties内容，并修改相关配置，如下：

1
brokerName=broker-b

slave1

服务器：192.168.1.134

1
vi ./conf/2m-2s-sync/broker-a-s.properties

拷贝上面的broker-a.properties内容，并修改相关配置，如下：

1
2
3
4
5
6
7
brokerIP1=192.168.1.131
brokerName=broker-a
brokerId=1
#Broker 对外服务的监听端口
listenPort=11011
brokerRole=SLAVE
#以及修改各个路径配置

修改启动脚本文件

如果机器内存首先，则需要先修改runbroker.sh和runserver.sh的启动内存大小。

服务启动

启动NameServe集群

分别在192.168.1.131和192.168.1.134启动NameServer

1
2
cd /home/local/rocketMQ/rocketmq-all-4.7.1-bin-release
nohup sh bin/mqnamesrv &

启动Broker集群

192.168.1.131 master1：

1
2
cd /home/local/rocketMQ/rocketmq-all-4.7.1-bin-release
nohup sh bin/mqbroker -c ./conf/2m-2s-sync/broker-a.properties &

192.168.1.131 slave2：

1
2
cd /home/local/rocketMQ/rocketmq-all-4.7.1-bin-release
nohup sh bin/mqbroker -c ./conf/2m-2s-sync/broker-b-s.properties &

192.168.1.134 master2：

1
2
cd /home/local/rocketMQ/rocketmq-all-4.7.1-bin-release
nohup sh bin/mqbroker -c ./conf/2m-2s-sync/broker-b.properties &

192.168.1.134 slave1：

1
2
cd /home/local/rocketMQ/rocketmq-all-4.7.1-bin-release
nohup sh bin/mqbroker -c ./conf/2m-2s-sync/broker-a-s.properties &

查看进程状态

启动后通过JPS查看启动进程

rocketmq-03

查看日志

1
2
3
4
# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

遇见的问题

项目中的配置使用：

1
2
rocketmq:  
  name-server: 192.168.1.132:9876;192.168.1.134:9876

连接消息队列时发现日志输出：

1
closeChannel: close the connection to remote address[] result: true

其原因是brokerIP是服务器的内网IP导致producer无法与之建立连接导致。

需要broker-xxx.conf配置文件中增加以下配置

1
brokerIP1=192.168.1.131

参考资料

最后更新： 2020年11月12日 12:20

原始链接： https://midkuro.gitee.io/2020/07/08/rocketmq-install/

赏
× 请我吃糖~
打赏二维码