kafka的架构和工作原理

目录
Kafka 架构
Kafka 工作原理
Kafka 数据流
Kafka 焦点特性
总结
Kafka 架构
1. 生产者（Producer）
2. 消耗者（Consumer）
3. 主题（Topic）
4. 分区（Partition）
5. 副本（Replica）
6. 代理（Broker）
7. ZooKeeper（旧版本）/KRaft（新版本）
Kafka 工作原理
1. 消息生产
2. 消息存储
3. 消息消耗
4. 向导者推举
5. 集群和谐

---

Kafka 架构

Kafka 是一个分布式流处理平台，焦点架构包括以下组件：

• Producer（生产者）：
  
     
  
  • 负责将消息发布到 Kafka 的 Topic 中。
      
    
    
  
• Consumer（消耗者）：
  
     
  
  • 从 Topic 订阅并消耗消息。
      
    
    
  
• Broker（服务器）：
  
     
  
  • Kafka 集群中的每个节点都是一个 Broker，负责消息的存储和转发。
      
    
    
  
• Topic（主题）：
  
     
  
  • 消息的逻辑分类，生产者将消息发送到特定 Topic，消耗者从 Topic 订阅消息。
      
    
    
  
• Partition（分区）：
  
     
  
  • 每个 Topic 可以分为多个 Partition，分区是 Kafka 并行处理的根本单位，每个分区是一个有序、不可变的消息序列。
      
    
    
  
• Replica（副本）：
  
     
  
  • 每个 Partition 可以有多个副本，分布在差别的 Broker 上，确保数据的高可用性和容错性。
      
    
    
  
• Leader 和 Follower：
  
     
  
  • 每个 Partition 有一个 Leader 副本和多个 Follower 副本，Leader 负责处理读写哀求，Follower 从 Leader 同步数据。
      
    
    
  
• Zookeeper：
  
     
  
  • 用于管理 Kafka 集群的元数据、Broker 状态、Leader 推举等。
      
    
  
  

<hr> Kafka 工作原理

• 消息发布：
  
     
  
  • Producer 将消息发送到指定的 Topic，消息根据分区计谋（如轮询、哈希等）分配到某个 Partition。
      
    
    
  
• 消息存储：
  
     
  
  • 消息以追加（Append）的方式写入 Partition 的日志文件（Log Segment），Kafka 不会修改或删除已写入的消息。
      
    
    
  
• 消息复制：
  
     
  
  • Leader Partition 将消息复制到所有 Follower Partition，确保数据冗余和高可用性。
      
    
    
  
• 消息消耗：
  
     
  
  • Consumer 从 Partition 拉取消息，每个 Consumer 属于一个 Consumer Group，组内的 Consumer 共同消耗一个 Topic 的消息，每个 Partition 只能被组内的一个 Consumer 消耗。
      
    
    
  
• Offset 管理：
  
     
  
  • Consumer 通过 Offset 记录消耗进度，Kafka 将 Offset 存储在内部 Topic（__consumer_offsets）中，确保消耗状态可规复。
      
    
    
  
• 日志清理：
  
     
  
  • Kafka 提供两种日志清理计谋：
    
         
    
    • 日志删除（Log Retention）：根据时间或大小删除旧数据。
           
      
    • 日志压缩（Log Compaction）：保留每个 Key 的最新值，适用于 Key-Value 场景。
         
      
       
    
    
  
• 高可用性：
  
     
  
  • 通过副本机制和 Leader 推举实现高可用性。如果 Leader 失效，Zookeeper 会从 ISR（In-Sync Repl
      
    
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。