RabbitMQ高级篇之MQ可靠性 数据持久化

消息丢失的原因分析

RabbitMQ 默认使用内存存储消息，但这种方式带来了两个主要问题：

• 内存不是永世存储：内存中的数据会随着 RabbitMQ 的重启丢失。如果消息存储在内存中，一旦 MQ 宕机或重启，全部未持久化的消息都会丢失。
  
• 内存空间有限：如果消耗者处理消息的速度较慢，而生产者发送消息的速度过快，MQ 会堆积大量的消息，导致内存占满，终极可能导致 MQ 壅闭。当内存满时，RabbitMQ 会实验将内存中的部门消息写入磁盘，但此操纵非常耗时，会导致 MQ 无法处理更多的消息，进而发生壅闭。
  
  
  

内存存储的缺陷

• 消息丢失：因为内存不是持久化存储，当 RabbitMQ 重启时，内存中的全部数据（包括互换机、队列、消息）都将丢失。
  
• 性能下降与壅闭：内存满时，消息必要被转移到磁盘，磁盘的写入速度慢，导致消息处理速度下降。如果消息堆积，MQ 会壅闭，不能继续接收或处理消息，严重影响系统的实时性。
  

怎样确保 RabbitMQ 的消息可靠性？

要确保消息不丢失而且能够持续处理，必要采取数据持久化的措施。数据持久化意味着将消息、队列和互换机的元数据存储在磁盘中，确保纵然 RabbitMQ 重启，消息也不会丢失。



数据持久化的三个方面

为了确保数据在 RabbitMQ 中的可靠性，必要对以下三方面进行持久化配置：

• 互换机持久化：
  

• 换机在 RabbitMQ 中负责路由消息。如果互换机丢失，消息会丢失，因此互换机必须持久化。
  
• 默认情况下，RabbitMQ 创建的互换机是持久化的。可以在创建互换机时，通过设置 durable=true 来指定互换机的持久化属性。
  

• 队列持久化：
  

• 队列存储消息。如果队列丢失，全部未处理的消息都会丢失，因此队列也必须持久化。
  
• 与互换机类似，队列的 durable 属性应该设置为 true，这样队列会在 RabbitMQ 重启后保存下来。
  

• 消息持久化：
  

• 纵然互换机和队列是持久化的，如果消息本身没有被持久化，消息依然会丢失。
  
• 在发送消息时，通过设置 delivery mode=persistent 来将消息标记为持久化。这样，消息就会被存储到磁盘中，纵然 RabbitMQ 重启，消息也不会丢失。
  
  
  

持久化对性能的影响

• 非持久化消息：
  
  
  
  • 如果消息没有设置持久化，RabbitMQ 会把消息存储在内存中。当内存满时，它会将数据写入磁盘（称为 paged out），这会导致性能下降，因为磁盘写入操纵较慢。
    
  • 这种模式下，MQ 可能会出现壅闭，即消息发送速率骤降，甚至克制处理消息。
    
  
  
• 持久化消息：
  
  
  
  • 如果消息是持久化的，即每发送一条消息都立即写入磁盘，不会等待内存满了才写。这种方式保证了消息不会丢失，同时避免了 paged out 导致的壅闭问题。
    
  • 持久化消息的写入速度相对较慢，但性能颠簸较小，不会出现壅闭。虽然会有一些性能开销，但不会像非持久化消息那样，处理速度大幅下降。
    
  
  

持久化实验验证

• 非持久化消息发送：
  
  
  
  • 当发送大量（例如 100 万条）非持久化消息时，如果队列或内存满了，RabbitMQ 会将内存中的消息写入磁盘。在此过程中，消息处理速度会显著下降，甚至停滞，导致性能严重下降。
    
  • paged out 操纵会导致消息的处理速度一度降为零，之后才恢复。
    
  
  

• 持久化消息发送：
  
  
  
  • 当发送持久化消息时，消息不但存储在内存中，还会立即写入磁盘。因此，无论内存怎样变化，磁盘中的数据都能保持一致，不会发生消息丢失。
    
  • 持久化模式下，纵然有大量消息必要处理，RabbitMQ 仍旧能够保持较高的处理速率，没有明显的性能下降或壅闭。
    
  
  

性能对比

• 非持久化模式：发送大量消息时，随着内存满了，系统会进行 paged out，导致性能颠簸，速率降低到零，造成壅闭。
  
• 持久化模式：每条消息都会立即持久化到磁盘，因此没有发生内存满了才写入的情况，性能保持稳固，处理速度平稳。
  

Spring AMQP 默认持久化

• Spring AMQP 配置：默认情况下，Spring AMQP 创建的队列和互换机都是持久化的，发送的消息也是持久化的。因此，开发者不必要做额外的配置，默认举动即可保证消息的可靠性。
  

总结

为了确保 RabbitMQ 的消息可靠性，应采用以下措施：

• 确保互换机、队列和消息都做持久化，避免数据丢失。
  
• 通过 Spring AMQP 默认配置，可以确保消息的可靠性，但必要注意消息持久化的性能开销。
  
• 持久化虽然会带来一定的性能开销，但比起非持久化模式导致的壅闭问题，持久化更有利于系统的稳固性和可靠性。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。