Kafka技术详解[3]: 生产与消费数据 - ToB企服应用市场:ToB评测及商务社交产业平台

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

复制代码

<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>3.6.1</version>
</dependency>
</dependencies>

复制代码

package com.lzl.kafka.test;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.HashMap;
import java.util.Map;
public class KafkaProducerTest {
public static void main(String[] args) {
// 配置属性集合
Map<String, Object> configMap = new HashMap<>();
// 配置属性：Kafka服务器集群地址
configMap.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
// 配置属性：Kafka生产的数据为KV对，所以在生产数据进行传输前需要分别对K,V进行对应的序列化操作
configMap.put(
ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
configMap.put(
ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
// 创建Kafka生产者对象，建立Kafka连接
KafkaProducer<String, String> producer = new KafkaProducer<>(configMap);
// 准备数据,定义泛型
// 构造对象时需要传递【Topic主题名称】，【Key】，【Value】三个参数
ProducerRecord<String, String> record = new ProducerRecord<>("test", "key1", "value1");
// 生产（发送）数据
producer.send(record);
// 关闭生产者连接
producer.close();
}
}

复制代码

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

复制代码

package com.lzl.kafka.test;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import java.time.Duration;
import java.util.Arrays;
import java.util.Collections;
import java.util.HashMap;
import java.util.Map;
public class KafkaConsumerTest {
public static void main(String[] args) {
// 配置属性集合
Map<String, Object> configMap = new HashMap<String, Object>();
// 配置属性：Kafka集群地址
configMap.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
// 配置属性: Kafka传输的数据为KV对，所以需要对获取的数据分别进行反序列化
configMap.put(
ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringDeserializer");
configMap.put(
ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringDeserializer");
// 配置属性: 读取数据的位置，取值为earliest（最早），latest（最晚）
configMap.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
// 配置属性: 消费者组
configMap.put("group.id", "lzl");
// 配置属性: 自动提交偏移量
configMap.put("enable.auto.commit", "true");
// 创建消费者对象
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(configMap);
// 消费者订阅指定主题的数据
consumer.subscribe(Collections.singletonList("test"));
while (true) {
// 每隔100毫秒，抓取一次数据
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
// 打印抓取的数据
for (ConsumerRecord<String, String> record : records) {
System.out.println("K = " + record.key() + ", V = " + record.value());
}
}
}
}

复制代码