Kafka2.2.0集群安装

打印 上一主题 下一主题

主题 769|帖子 769|积分 2307

Kafka2.2.0 三节点集群搭建

Kafka2.2.0 基于zookeeper搭建,这里也搭建一个三个节点的集群。(在一个节点模仿三节点,真实的三节点把ip替换一下即可,按照hadoop案件把网络买通即可)
1、下载解压

Kafka 安装包官方下载地址 ,本用例下载的版本为 2.2.0 ,下
载命令:
  1. # 下载
  2. wget https://www-eu.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz
  3. #cp到指定目录
  4. cp kafka_2.12-2.2.0.tgz /usr/app/
  5. # 解压
  6. tar -xzf kafka_2.12-2.2.0.tgz
复制代码
2 拷贝设置文件

进入解压目录的 config 目录下 ,拷贝三份设置文件:
  1. cp server.properties server-1.properties
  2. cp server.properties server-2.properties
  3. cp server.properties server-3.properties
复制代码
3 修改设置

分别修改三份设置文件中的部分设置,如下:
只修改下面的属性,其他的属性不需要动
server-1.properties

  1. # The id of the broker. 集群中每个节点的唯一标识
  2. broker.id=0
  3. # 监听地址,hadoop101是本机域名
  4. listeners=PLAINTEXT://hadoop101:9092
  5. # 数据的存储位置
  6. log.dirs=/usr/local/kafka-logs/00
  7. # Zookeeper连接地址(如果Zookeeper和kafka都在一个节点上,节点对应域名就是hadoop101节点)
  8. zookeeper.connect=hadoop101:2181,hadoop101:2182,hadoop101:2183
复制代码
server-2.properties

  1. broker.id=1
  2. listeners=PLAINTEXT://hadoop101:9093
  3. log.dirs=/usr/local/kafka-logs/01
  4. zookeeper.connect=hadoop101:2181,hadoop101:2182,hadoop101:2183
复制代码
server-3.properties

  1. broker.id=2
  2. listeners=PLAINTEXT://hadoop101:9094
  3. log.dirs=/usr/local/kafka-logs/02
  4. zookeeper.connect=hadoop101:2181,hadoop101:2182,hadoop101:2183
复制代码
这里需要说明的是 log.dirs 指的是数据日记的存储位置,确切的说,就是分区数据的存储位置。程序运行日记的位置是通过同一目录下的 log4j.properties 举行设置的。
4 启动集群

分别指定差别设置文件,启动三个 Kafka 节点。启动后可以使用 jps 查察历程,此时应该有三个
zookeeper 历程和三个 kafka 历程。
  1. #在kafka目录下运行, & 后台运行
  2. bin/kafka-server-start.sh config/server-1.properties &
  3. bin/kafka-server-start.sh config/server-2.properties &
  4. bin/kafka-server-start.sh config/server-3.properties &
复制代码
停止kafka
  1. bin/kafka-server-stop.sh
复制代码
5 创建测试主题

创建测试topic,一个分区 三个副本
  1. bin/kafka-topics.sh --create --bootstrap-server hadoop101:9092 \
  2. --replication-factor 3 \
  3. --partitions 1 --topic my-test-topic
复制代码
创建后可以使用以下命令查察创建的主题信息:
  1. bin/kafka-topics.sh --describe --bootstrap-server hadoop101:9092 --topic my-test-topic
复制代码

可以看到分区 0 的有 0,1,2 三个副本,且三个副本都是可用副本,都在 ISR(in-sync Replica 同步副本)
列表中,其中 0 为首领副本,此时代表集群已经搭建乐成。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

张国伟

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表