南飓风 发表于 2024-6-21 05:58:07

复习kafka

Kafka 介绍
Kafka 是一种分布式的,基于发布/订阅的消息体系。它最初由 LinkedIn 开发,并于 2011 年开源。Kafka 的计划目标是提供一种高效、可靠的消息传输机制,能够处置处罚大量的实时数据。
Kafka 基本概念

[*] Producer:生产者,负责将消息发布到 Kafka 主题中。
[*] Consumer:消耗者,负责从 Kafka 主题中订阅消息并进行处置处罚。
[*] Broker:Kafka 服务器,负责存储和管理消息。
[*] Topic:主题,是消息的分类,类似于邮件的标签。
[*] Partition:分区,是 Kafka 中存储消息的单元,每个主题可以被分为多个分区。
[*] Offset:偏移量,是每个分区中消息的唯一标识。
Kafka 工作原理
[*] 生产者将消息发送到 Kafka 服务器的指定主题中。
[*] Kafka 服务器将消息存储到对应的分区中,并为每个消息分配一个唯一的偏移量。
[*] 消耗者通过订阅主题来吸收消息,并根据偏移量来标识已经消耗的消息。
[*] 消耗者可以按照自己的需求来处置处罚消息,比方将消息写入数据库,大概进行实时分析。
Kafka 优势
[*] 高吞吐量:Kafka 能够支持每秒百万级别的消息处置处罚。
[*] 可靠性:Kafka 提供了数据的冗余存储和容错机制,包管消息不丢失。
[*] 分布式:Kafka 是一个分布式体系,支持水平扩展,可以轻松应对大规模的数据处置处罚需求。
[*] 实时性:Kafka 支持实时的消息传输,包管消息的实时性。
[*] 可扩展性:Kafka 提供了丰富的 API 和插件,方便用户进行二次开发和扩展。
Kafka 应用场景
[*] 日记处置处罚:Kafka 可以用于收集和处置处罚大规模的日记数据,比方网站日记、应用日记等。
[*] 数据传输:Kafka 可以用于在不同的体系之间传输数据,比方将数据从数据库同步到数据堆栈。
[*] 实时数据处置处罚:Kafka 可以用于实时处置处罚和分析数据,比方实时监控、实时保举等。
[*] 分布式事务:Kafka 可以用于实现分布式事务,包管数据的一致性。
Kafka 总结
Kafka 是一种非常强盛的分布式消息体系,它具有高吞吐量、可靠性、实时性、可扩展性等优势,被广泛应用于日记处置处罚、数据传输、实时数据处置处罚、分布式事务等领域。通过对 Kafka 的学习,我们相识了它的基本概念、工作原理、优势和应用场景。在以后的工作中,我们可以根据实际需求来选择是否使用 Kafka,以及怎样更好地使用 Kafka 来解决问题。
Kafka 动画演示
[*] 篮球角逐,实况转播相称于消耗者,不同的移动端看角逐相称于是消耗者。
[*] 数据都写入队列中,队列相称于是硬盘
https://img-blog.csdnimg.cn/direct/90d6f1d42b884ac395ddc400e271fd3c.png
[*] 单队列转播服从太低,可以搞多个队列
[*] 生产者将不同角逐的信息发送到不同的队列,消耗者自主选择队列
https://img-blog.csdnimg.cn/direct/0ba709b38be44f0584d4ed99c21e239c.png
[*] 这些不同的队列在kafka内分成不同的分区partition,队列团体叫做topic
[*] 分区的每条记载叫做record
[*] Partition key相称于角逐的队
[*] 每条消息在分区中的位置被称为消息的offset,顺序从0开始单调递增
https://img-blog.csdnimg.cn/direct/a8a91c7a06bd4c13b586c9bca6e5c0f0.png
[*] 消耗者怎样消耗数据
[*] 每个消耗者可以topic中全部的partition
[*] 消耗者进行分别,同一个的组的数据只能去指定的分区中消耗
https://img-blog.csdnimg.cn/direct/7b730fb336c9423eb86efe192a5714a1.png
[*] Kafka怎样保障数据的高可用?
https://img-blog.csdnimg.cn/direct/1d6d96995f5349749b30f8af8766f573.png
分区存在副本,每个副本的功能是备份。
https://img-blog.csdnimg.cn/direct/68b139e152c745cfbcb364458ad69bc8.png

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 复习kafka