kafka开启kerberos认证详细步骤

伤心客  金牌会员 | 2025-3-11 09:53:42 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 974|帖子 974|积分 2922

一、kerberos安装部署

kerberos的根本原理不做过多介绍了，可自行查阅；本文主要介绍kerberos的安装及使用;使用到的软件版本：体系：Red Hat Enterprise Linux release 8.6 (Ootpa) 、krb5-server：1.18.2
  1. #使用到的软件版本
  2. [root@kafka01 data]# cat /etc/redhat-release
  3. Red Hat Enterprise Linux release 8.6 (Ootpa)
  4. #通过yum安装
  5. [root@kafka01 ~]# yum install krb5-server
  6. #查看本版号
  7. [root@kafka01 ~]# rpm -qi krb5-server
  8. Name        : krb5-server
  9. Version     : 1.18.2
  10. Release     : 30.el8_10
  11. Architecture: x86_64
  12. Install Date: Fri 07 Mar 2025 11:11:35 AM CST
  13. Group       : System Environment/Daemons
  14. Size        : 1481553
  15. License     : MIT
  16. Signature   : RSA/SHA256, Tue 22 Oct 2024 11:00:23 PM CST, Key ID 199e2f91fd431d51
复制代码
二、准备机器

序号IP主机部署服务1192.168.10.100kafka01Kerberos Server、Kerberos Client2192.168.10.101kafka02Kerberos Client3192.168.10.102kafka03Kerberos Client绑定host文件
  1. [root@kafka01 ~]# cat /etc/hosts
  2. 192.168.10.100    kafka01
  3. 192.168.10.101    kafka02
  4. 192.168.10.102    kafka03
复制代码
Kerberos Client 根据需要进行安装，安装后可以使用 kadmin 命令；对应在 Kerberos Server 上使用 kadmin.local 命令。
三、Kerberos Server 安装
  1. [root@kafka01 ~]# yum install krb5-server
复制代码
1、配置krb5.conf
  1. #编辑配置文件
  2. [root@kafka01 ~]# vim /etc/krb5.conf
  3. # To opt out of the system crypto-policies configuration of krb5, remove the
  4. # symlink at /etc/krb5.conf.d/crypto-policies which will not be recreated.
  5. includedir /etc/krb5.conf.d/
  7. [logging]
  8.     default = FILE:/var/log/krb5libs.log
  9.     kdc = FILE:/var/log/krb5kdc.log
  10.     admin_server = FILE:/var/log/kadmind.log
  12. [libdefaults]
  13.     dns_lookup_realm = false
  14.     ticket_lifetime = 24h
  15.     renew_lifetime = 7d
  16.     forwardable = true
  17.     rdns = false
  18.     pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
  19. #    spake_preauth_groups = edwards25519
  20.     default_realm = NSSPKAFKA.COM  #域
  21.     default_ccache_name = KEYRING:persistent:%{uid}
  23. [realms]
  24. NSSPKAFKA.COM = {
  25.      kdc =  kafka01   #hostname
  26.      admin_server = kafka01  #hostname
  27. }
  29. [domain_realm]
  30. #.kafka01 = NSSPKAFKA.COM
  31. #kafka01 = NSSPKAFKA.COM
复制代码
以上配置相关参数
  1. [logging]：日志的位置
  2. [libdefaults]：每种连接的默认配置
  3. 　　dns_lookup_realm：是否通过 dns 查找需使用的 releam
  4. 　　ticket_lifetime：凭证的有效时限，一般为 24 小时
  5. 　　renew_lifetime：凭证最长可以被延期的时限，一般为一周。当凭证过期之后，对安全认证的服务后续访问就会失败
  6. 　　forwardable：ticket 是否可以被转发（如果用户已经有了一个TGT，当他登入到另一个远程系统，KDC会为他重新创建一个TGT，而不需要让用户重新进行身份认证）
  7. 　　rdns：如果为 true，则除根据 hostname 正向查找外，同时反向查找对应的 principal。如果 dns_canonicalize_hostname 设置为 false，则此标志不起作用。默认值为 true。
  8. 　　pkinit_anchors：受信任锚（根）证书的位置；如果用户在命令行上指定X509_anchors，则不使用该配置。
  9. 　　default_realm：默认的 realm，必须跟要配置的 realm 名称一致
  10. 　　default_ccache_name：指定默认凭据缓存的名称。默认值为 DEFCCNAME
  11. [realms]：列举使用的 realm
  12. 　　kdc：kdc 运行的机器
  13. 　　admin_server：kdc 数据库管理服务运行的机器
  14. [domain_realm]：配置 domain name 或 hostname 对应的 releam
  16. 详细说明可参考官网文档：http://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/krb5_conf.html。
复制代码
2、配置kdc.conf  (/var/kerberos/krb5kdc/kdc.conf)
  1. [root@kafka01 data]# vim /var/kerberos/krb5kdc/kdc.conf
  2. [kdcdefaults]
  3.     kdc_ports = 88
  4.     kdc_tcp_ports = 88
  5.     spake_preauth_kdc_challenge = edwards25519
  7. [realms]
  8. NSSPKAFKA.COM = {
  9.      #master_key_type = aes256-cts
  10.      acl_file = /var/kerberos/krb5kdc/kadm5.acl
  11.      dict_file = /usr/share/dict/words
  12.      admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  13.      supported_enctypes = aes256-cts:normal aes128-cts:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal
  14. }
复制代码
以上配置相关参数详解
  1. 相关参数说明：
  2. [kdcdefaults]：KDC 默认配置
  3. kdc_ports：UDP 端口号
  4. kdc_tcp_ports：TCP 端口号
  5. [realms]：realm 数据库配置
  6. master_key_type：主密钥的密钥类型；默认值为 aes256-cts-hmac-sha1-96。
  7. acl_file：用于指定哪些用户可以访问 kdc 数据库的控制文件；如果不需要现在用户访问，该值可以设为空
  8. dict_file：字典文件位置，该文件中的单词不能被用于密码；如果文件为空，或者没有为用户分配策略，则不会执行密码字典检查。
  9. admin_keytab：KDC 进行校验的 keytab。
  10. supported_enctypes：支持的加密方式，默认为 aes256-cts-hmac-sha1-96:normal aes128-cts-hmac-sha1-96:normal。
  11. 详细说明可参考官网文档：https://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/kdc_conf.html。
复制代码
3、创建数据库
  1. [root@kafka01 ~]# kdb5_util create -s -r DATACENTER.COM
复制代码
四、启动服务

1、启动服务
  1. #开启自启动
  2. [root@kafka01 ~]# systemctl enable krb5kdc.service
  3. Created symlink /etc/systemd/system/multi-user.target.wants/krb5kdc.service → /usr/lib/systemd/system/krb5kdc.service.
  4. #开启Kerberos服务
  5. [root@kafka01 ~]# systemctl start krb5kdc.service
  7. #开启kadmin服务
  8. [root@kafka01 ~]# systemctl enable kadmin.service
  9. Created symlink /etc/systemd/system/multi-user.target.wants/kadmin.service → /usr/lib/systemd/system/kadmin.service.
  10. [root@kafka01 ~]# systemctl start kadmin.service
复制代码
2、创建账号


  • Kerberos 服务机器上可以使用 kadmin.local 来实行各种管理的利用。进入 kadmin.local：
    常用利用：
    利用形貌例子add_principal, addprinc, ank增加 principaladd_principal -rnadkey test@ABC.COMdelete_principal, delprinc删除 principaldelete_principal test@ABC.COMmodify_principal, modprinc修改 principalmodify_principal test@ABC.COMrename_principal, renprinc重命名 principalrename_principal test@ABC.COM test2@ABC.COMget_principal, getprinc获取 principalget_principal test@ABC.COMlist_principals, listprincs, get_principals, getprincs表现所有 principallistprincsktadd, xst导出条目到 keytabxst -k /root/test.keytab test@ABC.COM
  1. #执行命令
  2. [root@kafka01 ~]# kadmin.local
  3. kadmin.local:  add_principal admin/admin@NSSPKAFKA.COM
  4. kadmin.local:  add_principal kafka-server/kafka01@NSSPKAFKA.COM                               
  5. kadmin.local:  add_principal kafka-server/kafka02@NSSPKAFKA.COM                               
  6. kadmin.local:  add_principal kafka-server/kafka03@NSSPKAFKA.COM                               
  7. kadmin.local:  add_principal kafka-client@NSSPKAFKA.COM               
  10. #导出账号密钥
  11. kadmin.local: xst -norandkey -k  /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM
  12. kadmin.local: xst -norandkey -k  /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM
  13. kadmin.local: xst -norandkey -k  /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM
  14. kadmin.local: xst -norandkey -k  /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM
复制代码
五、Kerberos Client 安装

在其他集群机器上安装
  1. [root@kafka01 ~]#yum install krb5-workstation
复制代码
1、配置krb5.conf

从 192.168.10.100 上拷贝 /etc/krb5.conf 并覆盖本地的 /etc/krb5.conf。
  1. #客户端可以是用kadmin命令
  2. [root@kafka01 ~]# kadmin
  4. kinit(在客户端认证用户)
  5. [root@kafka02 ~]# kinit admin/admin@DATACENTER.COM   #输入密码认证完成
  7. #查看当前的认证用户
  8. [root@kafka01 ~]# klist
  10. #kdestroy(删除当前的认证缓存)
  11. [root@kafka01 ~]# kdestroy
复制代码
六、kafka集群开启kerberos认证

1、机器准备

序号IP主机部署服务1192.168.10.100kafka01zookeeper、kafka2192.168.10.101kafka02zookeeper、kafka3192.168.10.102kafka03zookeeper、kafka绑定host文件
  1. [root@kafka01 ~]# cat /etc/hosts
  2. 192.168.10.100    kafka01
  3. 192.168.10.101    kafka02
  4. 192.168.10.102    kafka03
复制代码
2、创建keytab文件

在安装 Kerberos 的机器上进入 kadmin（Kerberos 服务端上使用 kadmin.local，安装了 Kerberos Client 的机器上可以使用 kadmin），然后实行如下命令分别创建服务端和客户端的 keytab：
  1. #执行命令
  2. [root@kafka01 ~]# kadmin.local
  3. kadmin.local:  add_principal admin/admin@NSSPKAFKA.COM
  4. kadmin.local:  add_principal kafka-server/kafka01@NSSPKAFKA.COM                               
  5. kadmin.local:  add_principal kafka-server/kafka02@NSSPKAFKA.COM                               
  6. kadmin.local:  add_principal kafka-server/kafka03@NSSPKAFKA.COM                               
  7. kadmin.local:  add_principal kafka-client@NSSPKAFKA.COM               
  10. #导出账号密钥
  11. kadmin.local: xst -norandkey -k  /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM
  12. kadmin.local: xst -norandkey -k  /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM
  13. kadmin.local: xst -norandkey -k  /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM
  14. kadmin.local: xst -norandkey -k  /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM
复制代码
3、Kerberos相关配置

拷贝 krb5.conf 及 keytab 文件到所有安装 Kafka 的机器，这里把文件都放到 Kafka 的 config/kerveros 目次下(kerberos 目次需新建)。
  1. [root@kafka01 kerberos]# pwd
  2. /opt/kafka_2.12-3.9.0/config/kerberos
  3. [root@kafka01 kerberos]# ll
  4. total 24
  5. -rw-r--r-- 1 root root  95 Mar 10 15:53 client.properties
  6. -rw-r--r-- 1 root root 246 Mar 10 16:11 kafka-client-jaas.conf
  7. -rw------- 1 root root 379 Mar 10 16:03 kafka-client.keytab
  8. -rw-r--r-- 1 root root 256 Mar 10 16:10 kafka-server-jaas.conf
  9. -rw------- 1 root root 424 Mar 10 16:01 kafka-server.keytab
  10. -rw-r--r-- 1 root root 786 Mar 10 16:10 krb5.conf
复制代码
4、Kafka服务端配置（server.properties）
  1. #执行命令
  2. [root@kafka01 config]# vim server.properties
  3. #配置文件开启认证
  4. security.inter.broker.protocol=SASL_PLAINTEXT
  5. sasl.mechanism.inter.broker.protocol=GSSAPI
  6. sasl.enabled.mechanisms=GSSAPI
  7. sasl.kerberos.service.name=kafka-server
复制代码
5、新建 kafka-server-jaas.conf 文件，该文件也放到 Kafka 的 config/kerveros 目次下
  1. [root@kafka01 kerberos]# cat kafka-server-jaas.conf
  2. KafkaServer {
  3.    com.sun.security.auth.module.Krb5LoginModule required
  4.    useKeyTab=true
  5.    keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server.keytab" #这是导出的账号keytab文件 不同的账号不同的文件
  6.    storeKey=true
  7.    useTicketCache=false
  8.    principal="kafka-server/kafka01@DATACENTER.COM";      #不同的机器 不同的账号，
  9. };
复制代码
6、修改 bin/kafka-server-start.sh 脚本，倒数第二行增加如下配置：
  1. #进入启动脚本
  2. [root@kafka01 bin]# vim kafka-server-start.sh
  4. #-Dzookeeper.sasl.client=false zk没有开启认证就设置false
  5. export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server -Djava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server-jaas.conf"
复制代码
客户端配置
7、新建 kafka-client-jaas.conf 文件，该文件也放到 Kafka 的 config/kerveros 目次下。
  1. [root@kafka01 kerberos]# vim kafka-client-jaas.conf
  2. KafkaClient {
  3.    com.sun.security.auth.module.Krb5LoginModule required
  4.    useKeyTab=true
  5.    keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client.keytab" #客户端密钥
  6.    storeKey=true
  7.    useTicketCache=true
  8.    principal="kafka-client@DATACENTER.COM"; #客户端账号 这里的';' 不能省略
  9. };
复制代码
该配置主要为了使用 bin/kafka-topics.sh、bin/kafka-console-consumer.sh、kafka-console-producer.sh 等命令
  1. #三个文件倒数第二行 新增以下内容
  2. export KAFKA_OPTS="-Djava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client-jaas.conf"
复制代码
七、启动测试
  1. #查看topic
  2. [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --list --bootstrap-server kafka:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties
  4. #创建topic & 测试链接
  5. [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties
  6. #生产者
  7. [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-producer.sh --topic test --bootstrap-server nsspmsg.com:9092 --producer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties
  9. #消费者
  10. [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server nsspmsg.com:9092 --consumer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

伤心客

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表