2024消息队列“四大天王”:Rabbit、Rocket、Kafka、Pulsar巅峰对决 ...

打印 上一主题 下一主题

主题 880|帖子 880|积分 2640

在选择合适的消息队列或消息传递系统时,了解各个系统的特点和上风非常重要。下面临 RabbitMQ、RocketMQ、Kafka 和 Pulsar 进行综合对比,涵盖架构、性能、可用性、适用场景等方面:


  • 排名




  • 对比


一、消息模型

1.1、RabbitMQ



基于互换机(Exchange)和队列(Queue)的机动路由


  • 互换机(Exchange):消息发布到互换机,通过路由键(Routing Key)决定消息发送到哪个队列。
  • 队列(Queue):消息存储的地方,消费者从队列中获取消息。
  • 路由键(Routing Key):用于匹配消息和队列的键。
  • 绑定(Binding):连接互换机和队列,界说路由规则。
消息传递模式


  • Direct:消息通过正确匹配路由键发送到队列。
  • Fanout:消息广播到全部绑定的队列。
  • Topic:消息按模式匹配路由键发送到队列。
RocketMQ



基于主题(Topic)和消息队列的高可用、高吞吐量消息系统


  • 主题(Topic):消息按主题分类,每个主题可以有多个队列。
  • 消息队列(Message Queue):主题分为多个队列,消息存储在队列中。
消息传递模式


  • 点对点:消息直接发送到队列。
  • 发布/订阅:消息发布到主题,全部订阅该主题的消费者接收消息。
Kafka



高吞吐量的发布/订阅系统,基于主题和分区(Partition)


  • 主题(Topic):消息按主题分类,主题分为多个分区。
  • 分区(Partition):每个主题有多个分区,分区内消息有序存储。
消息传递模式


  • 发布/订阅:生产者发布消息到主题,消费者订阅主题分区。
  • 分区消费:消费者组内的消费者协作消费分区。
Pulsar



多租户、高可用的消息流平台,支持机动的消息传递模式


  • 主题(Topic):消息按主题分类,主题可以分为多个分区。
  • 分区(Partition):主题分为多个分区,分区内消息有序存储。
消息传递模式


  • 发布/订阅:支持复杂订阅模式和消息路由。

产物架构

RabbitMQ 架构



焦点组件

  • 生产者(Producer):发送消息到互换机。
  • 互换机(Exchange):根据绑定规则路由消息到队列。主要范例有 direct、fanout、topic 和 headers。
  • 队列(Queue):存储消息,消费者从队列中消费消息。
  • 消费者(Consumer):从队列中获取并处理消息。
  • 绑定(Binding):连接互换机和队列,界说路由规则。
架构特点


  • 机动的消息路由机制,通过不同范例的互换机实现复杂的路由规则。
  • 支持消息的长期化、事务和确认机制,确保消息可靠传递。
RocketMQ 架构



焦点组件

  • 生产者(Producer):发送消息到主题(Topic)。
  • 主题(Topic):按主题分类消息,每个主题有多个队列。
  • 消息队列(Message Queue):存储消息,是主题的子集。
  • 消费者(Consumer):从消息队列中消费消息。
  • 名称服务器(Name Server):管理主题和消息队列的元数据,提供路由信息。
  • Broker:存储消息并处理消息传递,管理消息队列。
架构特点


  • 高可用性,通过多个 Broker 实现数据的复制和故障转移。
  • 支持顺序消息和分布式事务,适合金融等需要严酷消息顺序和事务保证的场景。
Kafka 架构



焦点组件

  • 生产者(Producer):将消息发送到主题的分区(Partition)。
  • 主题(Topic):按主题分类消息,每个主题分为多个分区。
  • 分区(Partition):消息按顺序存储在分区中,实现并行处理。
  • 消费者(Consumer):从分区消费消息,可以指定消费位移(Offset)。
  • 消费者组(Consumer Group):组内消费者协作消费分区,实现负载均衡。
  • Broker:Kafka 服务器,负责存储消息并处理消息传递。
  • ZooKeeper:管理集群的元数据和协调 Broker 的活动。
架构特点


  • 高吞吐量,适合大规模实时数据流处理。
  • 长期化存储和分区机制确保数据的可靠性和可扩展性。
Pulsar 架构



焦点组件

  • 生产者(Producer):发送消息到主题或分区。
  • 主题(Topic):按主题分类消息,可以分为多个分区。
  • 分区(Partition):主题的子集,分区内消息有序存储。
  • 消费者(Consumer):从主题或分区消费消息。
  • Broker:处理客户端请求,协调消息的存储和传递。
  • BookKeeper(Bookies):提供长期化存储,将消息存储在多个 Bookie 中,确保数据可靠。
  • ZooKeeper:管理集群元数据,协调 Broker 和 BookKeeper 的活动。
架构特点


  • 多租户支持,适合复杂的多用户场景。
  • 高可用性和可扩展性,通过水平扩展 Broker 和 BookKeeper 节点实现。
  • 机动的消息传递模式,支持独占、共享和故障转移订阅。
产物性能

吞吐量



图片泉源于confluent.io



  • RabbitMQ:机动性和可靠性较高,但吞吐量最低。
  • RocketMQ:高可用性和顺序消息支持,吞吐量次于 RabbitMQ。
  • Pulsar:多租户和分区支持,提供较高吞吐量。
  • Kafka:专为高吞吐量和低耽误设计,适合大规模数据流处理,吞吐量最高。
吞吐量从大到小的一般排名:
kafka->pulsar->rocketmq->rabbitmq
耽误





图片与表格泉源于confluent.io
在低吞吐量的情况下,消息队列系统的响应时间会受到多种因素的影响,包括系统架构、消息大小、网络耽误等。响应时间从快到慢的一般排名:
rabbitmq->kafka->pulsar->rocketmq
而在高吞吐量的情况下,不同的消息队列系统的响应时间会受到它们设计和优化的影响。响应时间从快到慢的一般排名:
kafka->pulsar->rocketmq->rabbitmq

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

小秦哥

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表