【RabbitMQ】RabbitMQ 消息的堆积题目 —— 使用惰性队列办理消息的堆积问 ...

立山  金牌会员 | 2024-8-21 17:25:38 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 579|帖子 579|积分 1737

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,现在阿里P7
深知大多数程序员,想要提升技能,每每是本身摸索发展,但本身不成体系的自学效果低效又漫长,而且极易碰到天花板技术故步自封!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是盼望可以或许帮助到想自学提升又不知道该从何学起的朋友。





既有适合小白学习的零基础资料,也有适合3年以上经验的小同伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比力多,这里只是将部分目次截图出来,全套包罗大厂面经、学习笔记、源码讲义、实战项目、大纲门路、解说视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)

正文

要将队列设置为惰性队列,可以通过下令行工具来实现,同时这个方式也可以将运行中的队列设置为惰性队列。以下是在 RabbitMQ 中使用下令设置队列为惰性队列:
  1. rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues
复制代码
对上面下令的表明:


  • rabbitmqctl:RabbitMQ 的下令行工具,用于执行 RabbitMQ 相干利用。
  • set_policy:下令用于添加一个策略。
  • Lazy:策略的名称,您可以根据需要自界说策略名称。
  • "^lazy-queue$":使用正则表达式来匹配队列的名称。这里的正则表达式匹配队列名为 “lazy-queue” 的队列。
  • '{"queue-mode":"lazy"}':设置队列的模式为 “lazy”,这将使队列成为惰性队列。
  • --apply-to queues:指定策略应用于队列。这表现正在为队列应用 “lazy” 模式。
执行上述下令后,指定的队列将被设置为惰性队列,消息将以惰性队列的方式举行存储和管理。

  • 使用 @Bean 注解声明惰性队列
要声明一个惰性队列,可以使用Spring的@Bean注解以编程方式创建队列,并将其配置为惰性队列。以下是一个示例,展示如何使用@Bean注解创建惰性队列:
  1. import org.springframework.amqp.core.Queue;
  2. import org.springframework.amqp.core.QueueBuilder;
  3. import org.springframework.context.annotation.Bean;
  4. import org.springframework.context.annotation.Configuration;
  5. @Configuration
  6. public class RabbitMQConfig {
  7.     @Bean
  8.     public Queue lazyQueue() {
  9.         return QueueBuilder.durable("lazy.queue")
  10.             .lazy() // 设置 x-queue-mode 为 lazy
  11.             .build();
  12.     }
  13. }
复制代码
在上述示例中,起首创建一个Queue对象,名称为 “lazy.queue”,并使用QueueBuilder举行配置。然后,通过调用.lazy()方法来设置队列的模式为 “lazy”,这将使队列成为惰性队列。末了,通过调用.build()方法来构建并返回队列。

  • 使用 @RabbitListener 注解声明惰性队列
同样可以使用Spring的@RabbitListener注解来声明和监听惰性队列。以下是一个示例,展示如何使用@RabbitListener注解声明和监听惰性队列:
  1. @RabbitListener(queuesToDeclare = @Queue(
  2.         name = "lazy.queue",
  3.         durable = "true",
  4.         arguments = @Argument(name = "x-queue-mode", value = "lazy")
  5. ))
  6. public void listenLazyQueue(String msg) {
  7.     log.info("接收到 lazy.queue 的消息:" + msg);
  8. }
复制代码
在这个示例中,使用 @RabbitListener 注解声明一个监听器方法 listenLazyQueue,该方法监听名为 “lazy.queue” 的队列。以下是代码中的关键部分:


  • @RabbitListener 注解用于声明监听器方法,它告诉RabbitMQ监听指定的队列。
  • queuesToDeclare 属性用于声明队列的属性,包括队列的名称、是否长期化以及自界说参数。在这里,设置了队列的名称为 “lazy.queue”,并指定了长期化属性和队列模式为 “lazy”。
  • listenLazyQueue 方法界说了在接收到消息时要执行的逻辑,您可以在其中编写处理消息的代码。
通过使用 @RabbitListener 注解,可以方便地声明和监听惰性队列,以接收并处理队列中的消息。这简化了消息消费的配置和管理,同时确保了队列的属性和模式的一致性。
2.3 演示惰性队列接收大量消息

下面同时使用 @Bean 声明一个惰性队列和一个普通队列,然后分别向这两个队列写入一百万条消息,观察消息写入队列的环境:

  • 声明惰性队列和普通队列
  1. @Bean
  2. public Queue lazyQueue() {
  3.     return QueueBuilder.durable("lazy.queue")
  4.             .lazy() // 设置 x-queue-mode 为 lazy
  5.             .build();
  6. }
  7. @Bean
  8. public Queue normalQueue() {
  9.     return QueueBuilder.durable("normal.queue")
  10.             .build();
  11. }
复制代码

  • 发送消息的逻辑
  1. @Test
  2. public void testLazyQueue() {
  3.     for (int i = 0; i < 1000000; i++) {
  4.         // 1. 创建消息
  5.         Message message = MessageBuilder
  6.                 .withBody("hello, lazy queue".getBytes(StandardCharsets.UTF\_8))
  7.                 .setDeliveryMode(MessageDeliveryMode.NON\_PERSISTENT)
  8.                 .build();
  9.         // 2. 发送消息
  10.         rabbitTemplate.convertAndSend("lazy.queue", message);
  11.     }
  12. }
  13. @Test
  14. public void testNormalQueue() {
  15.     for (int i = 0; i < 1000000; i++) {
  16.         // 1. 创建消息
  17.         Message message = MessageBuilder
  18.                 .withBody("hello, normal queue".getBytes(StandardCharsets.UTF\_8))
  19.                 .setDeliveryMode(MessageDeliveryMode.NON\_PERSISTENT)
  20.                 .build();
  21.         // 2. 发送消息
  22.         rabbitTemplate.convertAndSend("normal.queue", message);
  23.     }
  24. }
复制代码

  • 观察消息的写入环境
运行上面两个测试代码,分别向惰性队列和普通队列发送一百万条消息。
起首来看惰性队列,可以发现 “Queued messages” 消息累计是渐渐增多的,并且曲线却是接近直线,并且 “Message rates”消息的入队速度也是在一个范围内上下浮动:
然后可以发现所有的消息全部都是 “Paged Out” 到了磁盘中:

然后再来看普通队列,可以发现 “Queued messages” 消息累计也是渐渐增多的,并且曲线却是出现了弯折的环境,并且 “Message rates”消息的入队速度曲线上下浮动差距非常大:
然后可以发现有一部分数据再内存中,其他大部分数据 “Paged Out” 到了磁盘上:

2.4 惰性队列的优缺点

惰性队列的优点:

  • 基于磁盘存储,消息上限高:惰性队列将消息直接存储到磁盘中,而不是内存,因此它具有更高的消息存储上限。这意味着惰性队列可以或许容纳数以百万计的消息,而不会因内存限制而出现堆积题目。
  • 没有间歇性的 page-out,性能比力稳固:惰性队列的消息存储方式避免了间歇性的 “page-out” 利用。在普通队列中,当内存预警值达到时,RabbitMQ会执行 “page-out” 利用,将消息从内存刷出到磁盘,这可能导致队列的性能出现间歇性颠簸。惰性队列不受此题目影响,因此性能较为稳固。

网上学习资料一大堆,但如果学到的知识不成体系,碰到题目时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份体系化的资料的朋友,可以添加V获取:vip204888 (备注大数据)

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎参加我们的的圈子(技术交换、学习资源、职场吐槽、大厂内推、口试辅导),让我们一起学习发展!
升。**
需要这份体系化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-oMkPTY3Q-1713164130880)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎参加我们的的圈子(技术交换、学习资源、职场吐槽、大厂内推、口试辅导),让我们一起学习发展!

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

立山

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表