复习kafka

Kafka 介绍
Kafka 是一种分布式的，基于发布/订阅的消息体系。它最初由 LinkedIn 开发，并于 2011 年开源。Kafka 的计划目标是提供一种高效、可靠的消息传输机制，能够处置处罚大量的实时数据。
Kafka 基本概念

• Producer：生产者，负责将消息发布到 Kafka 主题中。
  
• Consumer：消耗者，负责从 Kafka 主题中订阅消息并进行处置处罚。
  
• Broker：Kafka 服务器，负责存储和管理消息。
  
• Topic：主题，是消息的分类，类似于邮件的标签。
  
• Partition：分区，是 Kafka 中存储消息的单元，每个主题可以被分为多个分区。
  
• Offset：偏移量，是每个分区中消息的唯一标识。
  Kafka 工作原理
  
• 生产者将消息发送到 Kafka 服务器的指定主题中。
  
• Kafka 服务器将消息存储到对应的分区中，并为每个消息分配一个唯一的偏移量。
  
• 消耗者通过订阅主题来吸收消息，并根据偏移量来标识已经消耗的消息。
  
• 消耗者可以按照自己的需求来处置处罚消息，比方将消息写入数据库，大概进行实时分析。
  Kafka 优势
  
• 高吞吐量：Kafka 能够支持每秒百万级别的消息处置处罚。
  
• 可靠性：Kafka 提供了数据的冗余存储和容错机制，包管消息不丢失。
  
• 分布式：Kafka 是一个分布式体系，支持水平扩展，可以轻松应对大规模的数据处置处罚需求。
  
• 实时性：Kafka 支持实时的消息传输，包管消息的实时性。
  
• 可扩展性：Kafka 提供了丰富的 API 和插件，方便用户进行二次开发和扩展。
  Kafka 应用场景
  
• 日记处置处罚：Kafka 可以用于收集和处置处罚大规模的日记数据，比方网站日记、应用日记等。
  
• 数据传输：Kafka 可以用于在不同的体系之间传输数据，比方将数据从数据库同步到数据堆栈。
  
• 实时数据处置处罚：Kafka 可以用于实时处置处罚和分析数据，比方实时监控、实时保举等。
  
• 分布式事务：Kafka 可以用于实现分布式事务，包管数据的一致性。
  Kafka 总结
  Kafka 是一种非常强盛的分布式消息体系，它具有高吞吐量、可靠性、实时性、可扩展性等优势，被广泛应用于日记处置处罚、数据传输、实时数据处置处罚、分布式事务等领域。通过对 Kafka 的学习，我们相识了它的基本概念、工作原理、优势和应用场景。在以后的工作中，我们可以根据实际需求来选择是否使用 Kafka，以及怎样更好地使用 Kafka 来解决问题。
  Kafka 动画演示
  
• 篮球角逐，实况转播相称于消耗者，不同的移动端看角逐相称于是消耗者。
  
• 数据都写入队列中，队列相称于是硬盘
  
  
  
  
• 单队列转播服从太低，可以搞多个队列
  
• 生产者将不同角逐的信息发送到不同的队列，消耗者自主选择队列
  
  
  
  
• 这些不同的队列在kafka内分成不同的分区partition，队列团体叫做topic
  
• 分区的每条记载叫做record
  
• Partition key相称于角逐的队
  
• 每条消息在分区中的位置被称为消息的offset，顺序从0开始单调递增
  
  
  
  
• 消耗者怎样消耗数据
  
• 每个消耗者可以topic中全部的partition
  
• 消耗者进行分别，同一个的组的数据只能去指定的分区中消耗
  
  
  
  
• Kafka怎样保障数据的高可用？
  
  
  
  

分区存在副本，每个副本的功能是备份。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。