ToB企服应用市场:ToB评测及商务社交产业平台

标题: 复习kafka [打印本页]

作者: 南飓风 时间: 2024-6-21 05:58
标题: 复习kafka
Kafka 介绍
Kafka 是一种分布式的，基于发布/订阅的消息体系。它最初由 LinkedIn 开发，并于 2011 年开源。Kafka 的计划目标是提供一种高效、可靠的消息传输机制，能够处置处罚大量的实时数据。
Kafka 基本概念

Producer：生产者，负责将消息发布到 Kafka 主题中。
Consumer：消耗者，负责从 Kafka 主题中订阅消息并进行处置处罚。
Broker：Kafka 服务器，负责存储和管理消息。
Topic：主题，是消息的分类，类似于邮件的标签。
Partition：分区，是 Kafka 中存储消息的单元，每个主题可以被分为多个分区。
Offset：偏移量，是每个分区中消息的唯一标识。
Kafka 工作原理
生产者将消息发送到 Kafka 服务器的指定主题中。
Kafka 服务器将消息存储到对应的分区中，并为每个消息分配一个唯一的偏移量。
消耗者通过订阅主题来吸收消息，并根据偏移量来标识已经消耗的消息。
消耗者可以按照自己的需求来处置处罚消息，比方将消息写入数据库，大概进行实时分析。
Kafka 优势
高吞吐量：Kafka 能够支持每秒百万级别的消息处置处罚。
可靠性：Kafka 提供了数据的冗余存储和容错机制，包管消息不丢失。
分布式：Kafka 是一个分布式体系，支持水平扩展，可以轻松应对大规模的数据处置处罚需求。
实时性：Kafka 支持实时的消息传输，包管消息的实时性。
可扩展性：Kafka 提供了丰富的 API 和插件，方便用户进行二次开发和扩展。
Kafka 应用场景
日记处置处罚：Kafka 可以用于收集和处置处罚大规模的日记数据，比方网站日记、应用日记等。
数据传输：Kafka 可以用于在不同的体系之间传输数据，比方将数据从数据库同步到数据堆栈。
实时数据处置处罚：Kafka 可以用于实时处置处罚和分析数据，比方实时监控、实时保举等。
分布式事务：Kafka 可以用于实现分布式事务，包管数据的一致性。
Kafka 总结
Kafka 是一种非常强盛的分布式消息体系，它具有高吞吐量、可靠性、实时性、可扩展性等优势，被广泛应用于日记处置处罚、数据传输、实时数据处置处罚、分布式事务等领域。通过对 Kafka 的学习，我们相识了它的基本概念、工作原理、优势和应用场景。在以后的工作中，我们可以根据实际需求来选择是否使用 Kafka，以及怎样更好地使用 Kafka 来解决问题。
Kafka 动画演示
篮球角逐，实况转播相称于消耗者，不同的移动端看角逐相称于是消耗者。
数据都写入队列中，队列相称于是硬盘
单队列转播服从太低，可以搞多个队列
生产者将不同角逐的信息发送到不同的队列，消耗者自主选择队列
这些不同的队列在kafka内分成不同的分区partition，队列团体叫做topic
分区的每条记载叫做record
Partition key相称于角逐的队
每条消息在分区中的位置被称为消息的offset，顺序从0开始单调递增
消耗者怎样消耗数据
每个消耗者可以topic中全部的partition
消耗者进行分别，同一个的组的数据只能去指定的分区中消耗
Kafka怎样保障数据的高可用？

分区存在副本，每个副本的功能是备份。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)