Apache zookeeper kafka 开启SASL安全认证_kafka开启认证

假如使用PLAIN认证有个问题，就是不能动态新增用户，每次添加用户后，必要重启正在运行的Kafka集群才气见效。
因此，在生产环境中，这种认证方式不符合实际业务场景，不利于后期扩展。然而使用SCRAM认证，可以动态新增用户，添加用户后，可以不用重启正在运行的Kafka集群即可进行鉴权。以是生产环境保举使用SCRAM+PLAIN搭配的认证方案。
配置zookeeper集群启用SASL

1. 配置zookeeper，启用sasl认证，cat zoo.cfg查察到如下内容：

1. tickTime=2000
2. initLimit=1
3. syncLimit=5
4. dataDir=/tmp/zookeeper/data
5. dataLogDir=/tmp/zookeeper/log
6. clientPort=2181
7. admin.serverPort=8888
8. maxClientCnxns=3000
9. autopurge.snapRetainCount=3
10. autopurge.purgeInterval=24
11. server.1=localhost:2888:3888
12. 4lw.commands.whitelist=conf,stat,srvr,mntr.envi
13. #zk SASL
14. authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
15. jaasLoginRenew=3600000
16. requireClientAuthScheme=sasl
17. zookeeper.sasl.client=true

复制代码

2. 配置zookeeper JAAS

cat zk_jaas.conf文件内容如下，假如没有改文件则使用vi下令编辑

2. Server {
3.     org.apache.zookeeper.server.auth.DigestLoginModule required
4.     username="admin"
5.     password="admin123"
6.     user_kafka="kafka123";
7. };

复制代码

• 留意：admin用户 是zk 集群之间使用的。kafka用户 是 broker 与 zk 之间使用的。
  

3. 修改zkEnv.sh

1. 将上一步添加的 jaas 配置文件添加到zookeeper的环境变量中，zkEnv.sh文件最后添加一行：
3. vim zkEnv.sh
5. ZOOBINDIR="${ZOOBINDIR:-/usr/bin}"
6. ZOOKEEPER_PREFIX="${ZOOBINDIR}/.."
8. # 添加如下 新增变量SERVER_JVMFLAGS：
10. export SERVER_JVMFLAGS="-Djava.security.auth.login.config=../conf/zk_jaas.conf"

复制代码

配置kafka sasl动态认证

1. SASL/SCRAM认证是把凭证(credential)存储在Zookeeper，使用kafka-configs.sh在Zookeeper中创建凭据。对于每个SCRAM机制，必须添加具有机制名称的配置来创建凭证，所以在启动Kafka broker之前需要创建代理间通信的凭据。
3.   这里配置的 Kafka和生产者/消费者之间 采用SASL/PLAIN和SASL/SCRAM两种方式共同完成认证，授权使用ACL方式。PLAIN方式的用户是在jaas文件中写死的，不能动态的添加；SCRAM支持动态的添加用户。

复制代码

1. 创建用户

配置SASL/SCRAM认证的第一步，是配置可以连接到kafka集群的用户。本案例创建了3个用户：admin，producer，consumer。kafka_server_admin用户用于broker之间的认证通信，producer用户用于生产者连接kafka，consumer用户用于消费者连接kafka 。

1. ./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]' --entity-type users --entity-name admin
3. ./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]' --entity-type users --entity-name producer
5. ./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]' --entity-type users --entity-name consumer

复制代码

2. 查察创建的用户信息

kafka-configs 脚本是用来设置主题级别参数的。其实，它的功能还有很多。好比在这个例子中，我们使用它来创建 SASL/SCRAM 认证中的用户信息。可以使用下列下令来查察刚才创建的用户数据。

1. ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users
3. #（可以单独指定某个用户 --entity-name producer，如下）
4. ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name producer

复制代码

1. ZK客户端命令行查看：
3. ./zkCli.sh  -server localhost:2181
5. ls /config/users

复制代码

3. 配置kafka jaas文件

配置了用户之后，我们必要为 Broker 创建一个对应的 JAAS 文件。在实际场景中，必要为每台单独的物理 Broker 机器都创建一份 JAAS 文件。
Kafka 的 jaas认证配置文件，配置的是登录类，超管暗码和管理的帐号暗码列表
vim kafka_server_jaas.conf

1. KafkaServer {
2.     org.apache.kafka.common.security.scram.ScramLoginModule required
3.     username ="admin"
4.     password="admin123"
5.     user_admin="admin123"
6.     user_producer="producer123"
7.     user_consumer="consumer123";
8. };
9. KafkaClient {
10.     org.apache.kafka.common.security.scram.ScramLoginModule required
11.     username="admin"
12.     password="admin123"
13.     user_producer="producer123"
14.     user_consumer="consumer123";
15. };
16. Client {
17.     org.apache.kafka.common.security.scram.ScramLoginModule required
18.     username="kafka"
19.     password="kafka123";
20. };

复制代码

KafkaServer中usename配置的是kafka服务端使用的账号和暗码，后面的user_xxx事预设的平凡帐号认证信息。
 
中间部分配置的是PLAIN认证方式的账户和暗码，其中producer1是账户名，producer123是暗码。
Client配置了broker到Zookeeper的连接用户名暗码，这里要和前面zookeeper配置中的zk_jaas.conf.conf 中 user_kafka 的账号和暗码雷同。
 
关于这个文件内容，必要留意以下两点：
 
1）不要忘记最后一行和倒数第二行结尾处的分号；
 
2）JAAS 文件中不必要任何空格键。
4. kafka 配置文件启用SASL认证

Kafka 服务配置文件 server.propertis，配置认证协议及认证实现类
cat server.properties别的内容都注释掉，然后追加如下内容：

1. broker.id=0
2. listeners=SASL_PLAINTEXT://:9092
3. advertised.listeners=SASL_PLAINTEXT://localhost:9092
4. sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
5. sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
6. security.inter.broker.protocol=SASL_PLAINTEXT
7. allow.everyone.if.no.acl.found=false
8. authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
9. super.users=User:admin
10. num.network.threads=3
11. num.io.threads=8
12. socket.send.buffer.bytes=102400
13. socket.receive.buffer.bytes=102400
14. socket.request.max.bytes=104857600
15. log.dirs=/tmp/kafka/logs
16. num.partitions=3
17. num.recovery.threads.per.data.dir=1
18. offsets.topic.replication.factor=2
19. transaction.state.log.replication.factor=1
20. transaction.state.log.min.isr=1
21. log.flush.interval.messages=10000
22. log.flush.interval.ms=1000
23. log.retention.hours=168
24. log.retention.bytes=1073741824
25. log.segment.bytes=1073741824
26. log.retention.check.interval.ms=300000
27. delete.topic.enable=true
28. auto.create.topics.enable=false
29. zookeeper.connect=localhost:2181
30. zookeeper.connection.timeout.ms=60000
31. group.initial.rebalance.delay.ms=0
33. Host.name=43.138.0.199

复制代码

5. kafka 启动脚本添加认证文件路径的环境变量

Kafka 安全认证可以直接通过环境变量 -Djava.security.auth.login.config 设置，修改 Kafka 启动脚本 kafka-start-server.sh 文件最后一行，增加一个参数指向 jaas 配置文件的绝对路径
vi kafka-server-start.sh

1. exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/home/lighthouse/kafka_2.12-2.2.1/config/kafka_server_jaas.conf  kafka.Kafka "$@"

复制代码

6. kafka客户端配置

1) 配置consumer.properties和producer.properties,都要参加以下配置

1. security.protocol=SASL_PLAINTEXT
2. sasl.mechanism=SCRAM-SHA-512

复制代码

2) 生产者配置
使用kafka-console-producer.sh脚本测试生产者，由于开启安全认证和授权，此时使用console-producer脚本来尝试发送消息，那么消息会发送失败，原因是没有指定正当的认证用户，因此客户端必要做相应的配置，必要创建一个名为producer.conf的配置文件给producer步伐使用。
config目次下创建一个producer.conf的文件，cat producer.conf文件内容如下：

1. security.protocol=SASL_PLAINTEXT
2. sasl.mechanism=SCRAM-SHA-256
3. sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
4. mLoginModule required username="producer" password="producer123";

复制代码

留意：Topic设置写权限
3) 消费者配置
使用kafka-console-consumer.sh脚本测试生产者，由于开启安全认证和授权，因此客户端必要做相应的配置。必要为 consumer 用户创建consumer.conf给消费者步伐，同时设置对topic的读权限。
config目次下创建一个consumer.conf的文件，cat consumer.conf文件内容如下：

1. security.protocol=SASL_PLAINTEXT
2. sasl.mechanism=SCRAM-SHA-256
3. sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
4. mLoginModule required username="consumer" password="consumer123";

复制代码

留意：Topic设置读权限。
4) 在生产者和消费者启动脚本中引入JAAS文件

1. vim bin/kafka-console-producer.sh
3. if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
4.     export KAFKA_HEAP_OPTS="-Xmx512M"
5. fi
7. # 添加这行
8. export KAFKA_OPTS="-Djava.security.auth.login.config=../config/kafka_server_jaas.conf"
10. exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"
13. # vim bin/kafka-console-consumer.sh
15. if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
16.     export KAFKA_HEAP_OPTS="-Xmx512M"
17. fi
19. # 添加这行
20. export KAFKA_OPTS="-Djava.security.auth.login.config=../config/kafka_server_jaas.conf"
22. exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleConsumer "$@"

复制代码

启动kafka

1. nohup kafka-server-start.sh /path-to-kafka/config/server.properties &

复制代码

我自己写了一个脚本，同时启动zookeeper和kafka
文件名称叫startup.sh内容如下：

1. cd /home/lighthouse/zk-3.4.14/zookeeper-3.4.14/bin
2. ./zkServer.sh start
3. cd /home/lighthouse/kafka_2.12-2.2.1/
4. nohup bin/kafka-server-start.sh config/server.properties > output.txt &

复制代码

zookeeper没有启动乐成，我找下原因。把整个过程重新整理了一遍，发现zookeeper、kafka启动乐成了。

查抄验证

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到如今。
深知大多数网络安全工程师，想要提升技能，每每是自己探索发展，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技能故步自封！
因此网络整理了一份《2024年网络安全全套学习资料》，初志也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋侪。

既有适合小白学习的零底子资料，也有适合3年以上履历的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点！真正的体系化！
假如你觉得这些内容对你有帮助，必要这份全套学习资料的朋侪可以戳我获取！！
由于文件比力大，这里只是将部分目次截图出来，每个节点内里都包罗大厂面经、学习条记、源码讲义、实战项目、讲解视频，并且会持续更新！
6092386)]
[外链图片转存中…(img-tJ0kt6mx-1715806092386)]
[外链图片转存中…(img-A5bc1TYp-1715806092386)]
[外链图片转存中…(img-rfu1L6Gv-1715806092386)]
既有适合小白学习的零底子资料，也有适合3年以上履历的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点！真正的体系化！
假如你觉得这些内容对你有帮助，必要这份全套学习资料的朋侪可以戳我获取！！
由于文件比力大，这里只是将部分目次截图出来，每个节点内里都包罗大厂面经、学习条记、源码讲义、实战项目、讲解视频，并且会持续更新！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。