ToB企服应用市场:ToB评测及商务社交产业平台

标题: kafka服务介绍 [打印本页]

作者: 东湖之滨    时间: 2024-8-10 22:17
标题: kafka服务介绍
Apache Kafka 是一个开源的分布式事件流平台,主要用于及时数据传输和流处理。它最初由 LinkedIn 开辟,并在 2011 年成为 Apache 基金会的顶级项目。Kafka 计划的目的是处理大规模的数据流,同时提供高吞吐量、低延迟和高容错性
Kafka 的工作原理可以从几个关键方面来明白:

数据流示例

通过这些机制,Kafka 能够实现高吞吐量、低延迟和高可靠性的消息转达和数据流处理。
安装利用

Kafka 依赖于 Java 运行环境,因此首先需要安装 Java 11 或更高版本
  1. apt install -y openjdk-11-jdk
复制代码
  1. root@huhy:~# java --version
  2. openjdk 11.0.23 2024-04-16
  3. OpenJDK Runtime Environment (build 11.0.23+9-post-Ubuntu-1ubuntu1)
  4. OpenJDK 64-Bit Server VM (build 11.0.23+9-post-Ubuntu-1ubuntu1, mixed mode, sharing)
复制代码
官网下载;https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz
  1. tar -xf kafka_2.13-3.7.1.tgz
复制代码
  1. cd kafka_2.13-3.7.1/
复制代码
Kafka 的配置文件位于 config 目次中。主要的配置文件包括:

通常环境下,默认配置就可以开始利用。如果需要自界说配置,可以编辑这些文件
启动 Zookeeper;Kafka 需要 Zookeeper 来管理集群的元数据。Kafka 附带了一个简单的 Zookeeper 实例,开启后另起一个终端
  1. bin/zookeeper-server-start.sh config/zookeeper.properties
复制代码
启动 Kafka Broker;在另一个终端中,启动 Kafka Broker
  1. bin/kafka-server-start.sh config/server.properties
复制代码
另起一个终端3;Kafka 利用主题来组织消息。可以利用 Kafka 提供的脚本创建主题。例如,创建一个名为 test-topic 的主题:
  1. bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
复制代码
  1. root@huhy:~/kafka_2.13-3.7.1# bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
  2. Created topic test-topic.
复制代码
生产消息:可以利用 Kafka 提供的生产者工具向主题中发送消息。打开一个终端并运行,然后在终端4中输入消息并按回车键发送消息
  1. bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
复制代码
  1. root@huhy:~/kafka_2.13-3.7.1# bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
  2. >huhy>
复制代码
消费消息;在另一个终端3中,可以运行消费者工具来读取消息,只有最开始两个终端是不能终端,后两个有交互界面可以直接用
  1. root@huhy:~/kafka_2.13-3.7.1# bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092
  2. huhy
复制代码
获取信息如下

管理 Kafka

检察主题:
  1. bin/kafka-topics.sh --list --bootstrap-server localhost:9092
复制代码
  1. root@huhy:~/kafka_2.13-3.7.1# bin/kafka-topics.sh --list --bootstrap-server localhost:9092
  2. __consumer_offsetstest-topic
复制代码
检察主题详情:
  1. bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092
复制代码
  1. root@huhy:~/kafka_2.13-3.7.1# bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092
  2. Topic: test-topic       TopicId: rXHPQIqJRkO5lQDOsco3NQ PartitionCount: 1       ReplicationFactor: 1    Configs:        Topic: test-topic       Partition: 0    Leader: 0       Replicas: 0     Isr: 0
复制代码
删除主题;
  1. bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server localhost:9092
复制代码
验证检察
  1. root@huhy:~/kafka_2.13-3.7.1# bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server localhost:9092
  2. root@huhy:~/kafka_2.13-3.7.1# bin/kafka-topics.sh --list --bootstrap-server localhost:9092
  3. __consumer_offsets
复制代码
停止 Kafka Broker
  1. bin/kafka-server-stop.sh
复制代码
停止 Zookeeper:
  1. bin/zookeeper-server-stop.sh
复制代码
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。




欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4