ToB企服应用市场:ToB评测及商务社交产业平台

标题: 基于 Docker 搭建 RabbitMQ 集群 [打印本页]
作者: 络腮胡菲菲    时间: 2024-7-21 10:35
标题: 基于 Docker 搭建 RabbitMQ 集群
​
一、集群分类

在RabbitMQ中，有不同的集群模式，包罗普通模式、镜像模式和仲裁队列。每种模式具有不同的特点和应用场景。
1.1 普通模式

普通集群，也称为尺度集群（classic cluster），具备以下特征：

这种模式实用于一些不需要消息高可用性的场景，大概对于消息丢失不是很敏感的应用。

1.2 镜像模式

镜像集群，本质上是一种主从模式，具备以下特征：

这种模式实用于需要消息高可用性的应用场景，由于数据会在主节点和镜像节点之间进行同步备份，即使主节点宕机，数据仍然可用。

1.3 仲裁队列

仲裁队列是 RabbitMQ 3.8 版本以后引入的新功能，用来替代镜像队列，具备以下特征：

仲裁队列是一种更今世化和可靠的集群模式，实用于要求高可用性和数据强一致性的应用场景。
二、普通集群

2.1 目标集群

下面，我将详细描述怎样设置普通模式集群。在本示例中，计划在 Docker 容器上摆设一个由3个节点构成的RabbitMQ集群。每个节点都具有特定的主机名和端口设置，如下所示：
主机名控制台端口（HTTP）AMQP 通讯端口mq18081 —> 156728071 —> 5672mq28082 —> 156728072 —> 5672mq38083 —> 156728073 —> 5672 每个节点的标识默认为：rabbit@[主机名]，因此，上述三个节点的名称分别为：

在接下来的步骤中，我将介绍怎样在 Docker 容器中配置和启动这三个节点，从而创建一个 RabbitMQ 集群。这将使它们能够协同工作，共享队列和数据。
2.2 获取 Erlang Cookie

RabbitMQ 底层依赖于 Erlang，Erlang 捏造机是一种面向分布式体系的编程语言，它默认支持集群模式。在集群模式中，每个 RabbitMQ 节点使用一个称为Erlang cookie的共享秘钥来确定它们是否答应相互通讯。
为了使两个节点能够互相通讯，它们必须具有相同的共享机密，即Erlang cookie。Cookie只是一个包罗最多255个字母数字字符的字符串。每个集群节点必须具有相同的cookie，以确保它们可以相互通讯。RabbitMQ实例之间也需要共享相同的cookie以实现相互通讯。
首先，在之前启动的MQ容器中获取一个cookie值，然后将其用作集群的cookie。执行以下下令来获取cookie值：
  1. docker exec -it mq cat /var/lib/rabbitmq/.erlang.cookie
复制代码
执行此下令后，将得到一个雷同下面的Erlang cookie值：

获取了cookie值后，可以制止并删除当前的MQ容器，然后重新构建集群：
  1. docker rm -f mq
复制代码
请注意，大概还需要删除相关的数据卷：
  1. docker volume prune
复制代码
这将确保RabbitMQ集群在配置中使用相同的cookie值，以确保节点之间的通讯。

2.3 集群配置

在/rabbitmq-cluster目次中，需要创建一个名为 rabbitmq.conf 的配置文件，可以按照以下步骤操作：
这些步骤确保了RabbitMQ集群的每个节点都有相同的配置和认证信息，以便节点之间可以顺遂通讯，并实现集群功能。
2.4 启动集群

要启动 RabbitMQ 集群，首先需要创建一个网络以确保集群中的不同节点能够相互通讯。然后，需要逐个启动每个 MQ 节点，确保它们使用相同的配置和 Erlang Cookie 来实现集群协同工作。以下是详细的步骤：
步骤1：创建网络
首先，创建一个Docker网络，以便集群中的不同节点可以进行网络通讯。使用以下下令创建名为 mq-net 的网络：
  1. docker network create mq-net
复制代码
步骤2：启动第一个MQ节点（mq1）
如今，我们将启动第一个MQ节点 mq1。请运行以下下令：
  1. docker run -d --net mq-net \
  2. -v ${PWD}/mq1/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
  3. -v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
  4. -e RABBITMQ_DEFAULT_USER=lisi \
  5. -e RABBITMQ_DEFAULT_PASS=123456 \
  6. --name mq1 \
  7. --hostname mq1 \
  8. -p 8071:5672 \
  9. -p 8081:15672 \
  10. rabbitmq:3.8-management
复制代码
这个下令的解释如下：

步骤3：启动第二个MQ节点（mq2）
接下来，我们将启动第二个MQ节点 mq2。请运行以下下令：
  1. docker run -d --net mq-net \
  2. -v ${PWD}/mq2/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
  3. -v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
  4. -e RABBITMQ_DEFAULT_USER=lisi \
  5. -e RABBITMQ_DEFAULT_PASS=123456 \
  6. --name mq2 \
  7. --hostname mq2 \
  8. -p 8072:5672 \
  9. -p 8082:15672 \
  10. rabbitmq:3.8-management
复制代码
这个下令与启动 mq1 的下令雷同，只是容器名称、主机名和端口映射不同。
步骤4：启动第三个MQ节点（mq3）
末了，我们将启动第三个MQ节点 mq3。请运行以下下令：
  1. docker run -d --net mq-net \
  2. -v ${PWD}/mq3/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
  3. -v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
  4. -e RABBITMQ_DEFAULT_USER=lisi \
  5. -e RABBITMQ_DEFAULT_PASS=123456 \
  6. --name mq3 \
  7. --hostname mq3 \
  8. -p 8073:5672 \
  9. -p 8083:15672 \
  10. rabbitmq:3.8-management
复制代码
这个下令与启动 mq1 和 mq2 的下令雷同，只是容器名称、主机名和端口映射不同。
步骤5：验证容器运行
当这些下令成功执行后，可以使用以下下令来验证容器是否在运行：
  1. docker ps
复制代码
运行这个下令看到三个运行中的容器，它们代表了三个RabbitMQ节点。
这样，RabbitMQ 集群的节点已经成功启动，它们将能够相互通讯和协同工作。
2.5 测试集群

成功启动了MQ集群之后，我们可以通过浏览器访问MQ的控制台，例如，访问 mq1：
此时就可以看到集群中的三个节点的信息。
然后，在mq1这个节点上添加一个 simple.queue 的队列：

此时，访问 mq2 和 mq3 的控制台，也能看到这个队列，而且能够看到这个队列是属于节点 mq1 的：


别的，我们可以实验在 simple.queue 中新增一条消息：

同样的，其他两个节点也可以看到这个消息：
如果此时，将 mq1 节点制止了：

其中两个节点看到 simple.queue 的状态就变成了 Down ：

三、镜像模式

在上面介绍的普通集群中，存在一个问题，即一旦创建队列的主机宕机，队列就会不可用，无法实现高可用性。为相识决这个问题，RabbitMQ提供了镜像集群方案。
3.1 镜像模式的特征

镜像模式具有以下特征：

总结一下镜像模式的特点：

镜像模式通过数据同步和主节点切换提供了更高的可用性和数据冗余，实用于对数据可用性要求较高的应用场景。
3.2 镜像模式的配置

镜像模式的配置有三种模式，使用不同的参数来定义镜像计谋：
下面是设置这三种模式的下令：
3.2.1 exactly 模式

配置下令如下：
  1. rabbitmqctl set_policy ha-two "^two\." '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'
复制代码

3.2.2 all 模式

配置下令如下：
  1. rabbitmqctl set_policy ha-all "^all\." '{"ha-mode":"all"}'
复制代码

3.2.3 nodes 模式

配置下令如下：
  1. rabbitmqctl set_policy ha-nodes "^nodes\." '{"ha-mode":"nodes","ha-params":["rabbit@nodeA", "rabbit@nodeB"]}'
复制代码

这些下令用于设置不同的镜像模式的计谋，详细根据你的需求和集群拓扑来选择合适的计谋配置。
3.3 测试镜像模式

下面是我将演示使用 exactly 模式的镜像。由于此时集群的节点数量为 3，因此这里的镜像数量就设置为 2，运行下面的下令：
  1. # 进入 mq1 容器内部
  2. docker exec -it mq1 bash
  3. rabbitmqctl set_policy ha-two "^two\." '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'
复制代码

然后查看任意一个 MQ 节点的控制台，通过 Admin 选项中的 Policies，就可以看到刚才使用下令创建的计谋了：

以后创建的全部以two.开头的队列都会采用这个计谋。我们可以创建一个新的队列 two.queue：

可以发现这个队列的 Node 信息表明是属于 mq1 节点的，而且后面有一个 +1，将鼠标放在上面可以看到这个队列的镜像是 mq3：
如果此时在这个队列中新增一条消息，在mq2 和 mq3 中都能看到，当然，这里的mq2 能看到的原因是引用了mq1。


末了，我们模仿mq1宕机，制止 mq1 节点：
此时发现，原来tow.queue的镜像节点mq3 成为了主节点，而剩下的一个 mq2 节点成为了镜像节点。

四、仲裁队列

尽管镜像模式能够做主从复制，但是并不是强一致的，因此大概照旧会导致数据的丢失。为相识决这个问题， RabbitMQ 3.8 版本以后引入了仲裁队列是，用来替代镜像队列，它同样是主从模式的，而且使用非常简单，底层的主从同步是基于 Raft 协议，具有强一致的特点。
4.1 添加仲裁队列

添加仲裁队列的方式非常简单，只需要在创建队列的使用指定队列的类型为 Quorum 即可，例如下面通过任意一个 MQ 节点的控制台创建仲裁队列：

然后发现，其他两个节点都成为了 quorum 的镜像节点了：
而且可以查看这个队列的详细信息：

4.2 测试仲裁队列

此时，我们可以向 quorum.queue 队列中发送一条消息：

别的两个节点也都可以看到这条消息：

4.3 使用 Spring AMQP 声明仲裁队列

可以发现使用 Java 代码声明仲裁队列的方式也非常简单，只需要执行 quorum 方法即可。
  1. spring:
  2.   rabbitmq:
  3.     addresses: 192.168.96.128:8071, 192.168.96.128:8072, 192.168.96.128:8073 # MQ 集群
  4.     username: lisi
  5.     password: 123456
  6.     virtual-host: /
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4