Flink1.18.1 Standalone模式集群搭建

Flink1.18.1 Standalone模式集群搭建

本文将介绍怎样在 Linux 服务器上搭建 Flink Standalone 集群，包罗情况预备、配置修改和任务提交的步骤。
工具版本作用Flink1.18.1Apache Flink，支持大数据处置惩罚和流处置惩罚任务MySQL8.0.31MySQL 数据库，提供高性能的关系型数据库服务 1. 情况预备

搭建集群须要预备 3 台 Linux 服务器，并在每台服务器上安装 JDK 8 以上版本。
1.1 Flink下载地址

官网下载地址：https://dlcdn.apache.org/flink/flink-1.18.1/flink-1.18.1-bin-scala_2.12.tgz
1.2 集群角色分配

节点IP节点名称Flink服务192.168.0.168node1JobManager, TaskManager192.168.0.73node2TaskManager192.168.0.34node3TaskManager 2. Flink 集群安装步骤

为了搭建高可用的 Flink 集群，需确保 3 台 Linux 服务器 已经安装 JDK 8 或更高版本。
2.1 下载并解压 Flink

从 Apache Flink 官方下载页面获取 Flink 1.18.1 安装包，大概使用以下下令下载：

1. wget https://archive.apache.org/dist/flink/flink-1.18.1/flink-1.18.1-bin-scala_2.12.tgz

复制代码

2.2 解压安装包

将下载的安装包解压到指定目录：

1. tar -xzf /mnt/sdb2/flink-1.18.1-bin-scala_2.12.tgz -C /mnt/sdb2

复制代码

2.3 配置情况变量

建议在每个节点上配置情况变量，方便使用 Flink 下令。编辑 /etc/profile 文件，在文件末端添加：

1. echo 'export FLINK_HOME=/mnt/sdb/flink-1.18.1' >> /etc/profile
2. echo 'export PATH=$PATH:$FLINK_HOME/bin' >> /etc/profile
3. source /etc/profile

复制代码

2.4 配置 SSH 免密登录

在 Flink 集群中，各个节点之间须要免密登录。以下是 SSH 免密登录的配置步骤：

• 天生 SSH 密钥（在 JobManager 节点上）：
  
  1. ssh-keygen -t rsa

  复制代码
  公钥天生后，默认存放在 ~/.ssh/id_rsa.pub 中。
  
• 将公钥复制到其他节点：
  
  1. ssh-copy-id root@node2_IP
  2. ssh-copy-id root@node3_IP

  复制代码
• 验证免密登录：
  在主节点上执行以下下令，验证是否免密登录乐成：
  
  1. ssh root@node2_IP
  2. ssh root@node3_IP

  复制代码

3. 配置 Flink 集群

3.1 修改 flink-conf.yaml 配置文件

在每个节点的 /conf 目录下，编辑 flink-conf.yaml 文件。以下是各节点的配置示例：
JobManager 节点 (node1)

1. jobmanager.rpc.address: 192.168.0.168
2. jobmanager.bind-host: 0.0.0.0
3. rest.address: 192.168.0.168
4. rest.bind-address: 0.0.0.0

复制代码

TaskManager 节点 (node2)

1. taskmanager.host: 192.168.0.73

复制代码

TaskManager 节点 (node3)

1. taskmanager.host: 192.168.0.34

复制代码

3.2 配置 Master 和 Worker 节点

配置 Master 节点

在 masters 文件中配置 JobManager 节点：

1. vim $FLINK_HOME/conf/masters
2. 192.168.0.168:8081

复制代码

配置 Worker 节点

在 workers 文件中配置 TaskManager 节点：

1. vim $FLINK_HOME/conf/workers
2. node1
3. node2
4. node3

复制代码

3.3 分发 Flink 安装包到其他节点

将安装好的 Flink 目录分发到 node2 和 node3：

1. scp -r /mnt/sdb2/flink-1.18.1 root@192.168.0.73:/mnt/sdb/
2. scp -r /mnt/sdb2/flink-1.18.1 root@192.168.0.34:/mnt/sdb/

复制代码

4. 启动 Flink 集群

4.1 启动集群

在 JobManager 节点 (node1) 上，执行：

1. cd /mnt/sdb2/flink-1.18.1/bin
2. ./start-cluster.sh

复制代码

4.2 验证集群状态

访问 http://192.168.0.168:8081，应能看到 Flink 的 Web UI

如果 node2 和 node3 节点没有启动乐成，分别在两个节点上启动 TaskManager：

1. cd /mnt/sdb/flink-1.18.1/bin
2. ./taskmanager.sh start

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。