IT评测·应用市场-qidao123.com

标题: Flink Standalone 集群模式安装部署教程 [打印本页]

作者: 天空闲话 时间: 2025-3-18 09:49
标题: Flink Standalone 集群模式安装部署教程
目录
一、媒介
二、环境准备
三、安装步调
1. 下载并安装 Flink
4. 设置 Flink
5. 设置环境变量
6. 启动 Flink 集群
7. 访问 Flink Web 界面
四、简单测试
五、常见问题和办理办法
1. 启动失败，无法连接到 TaskManager
2. Web 界面无法访问
六、总结

一、媒介

Flink 是一个开源的流处置处罚框架，可以用于批处置处罚和流处置处罚。Flink 提供了多种部署模式，此中 Standalone 模式是最基础的一种。本文将介绍如安在 Linux 环境下部署一个 Flink Standalone 集群，包括安装、设置和启动。本文适用于新手，可以帮助你快速搭建 Flink Standalone 集群。
二、环境准备

在开始部署之前，需要准备以下环境和工具：

Linux 服务器（建议至少 3 台，本文以 3 台为例，分别命名为 master、slave1、slave2）
JDK 1.8 及以上版本（建议使用 OpenJDK 11）
SSH 设置无密码登录
Flink 安装包（本文使用 apache-flink-1.16.0-bin-scala_2.12.tgz 为例）

三、安装步调

1. 下载并安装 Flink

在 master 节点下载 Flink 安装包，并解压缩：

cd /opt/moudles
tar -zxvf apache-flink-1.16.0-bin-scala_2.12.tgz
mv apache-flink-1.16.0 /opt/installs/flink

复制代码

将 flink 目录分发到全部节点：

scp -r /opt/installs/flink slave1:/opt/installs/
scp -r /opt/installs/flink slave2:/opt/installs/

复制代码

（也可以使用脚本xsync.sh分发到全部节点）
4. 设置 Flink

在 master 节点上，编辑 Flink 的设置文件 /opt/installs/flink/conf/flink-conf.yaml：

jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true
#历史服务器如果HDFS是高可用，则复制core-site.xml、hdfs-site.xml到flink的conf目录下 hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

复制代码

编辑 masters 文件（设置 JobManager 的节点）：

master:8081

复制代码

编辑 work 文件（添加 TaskManager 节点）：

master
slave1
slave2

复制代码

5. 设置环境变量

在全部节点上设置 Flink 的环境变量。在 /etc/profile 文件中添加以下内容：

export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

复制代码

实验以下命令使设置生效：

source /etc/profile

复制代码

刷新环境变量（source /etc/profile）
6. 启动 Flink 集群

在 master 节点启动 Flink 集群：

#启动HDFS
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

复制代码

验证集群是否启动成功，可以通过 jps 命令检察 JobManager 和 TaskManager 进程。
假如 historyserver 无法启动，也就没有办法访问 8082 服务，缘故原由大概是你没有上传关于 hadoop 的 jar 包到 lib 下。
7. 访问 Flink Web 界面

打开浏览器，访问 http://master:8081，可以检察 Flink 的 Web UI 管理界面，监控集群状态和任务运行环境；访问 http://master:8082，可以检察 Flink 的 Flink历史服务器管理界面，及时服务重启，运行过的服务都还在可以或许访问8082是由于你的历史服务启动着。
四、简单测试

在 master 节点上提交一个 Flink 示例任务：

flink run examples/streaming/WordCount.jar

复制代码

在 Flink 的 Web 界面中可以检察任务的实验环境。
五、常见问题和办理办法

1. 启动失败，无法连接到 TaskManager

检查设置文件中的 jobmanager.rpc.address 是否正确。
确保全部节点的 hosts 文件设置正确。
检查节点之间的网络是否通畅。

2. Web 界面无法访问

检查防火墙设置，确保 8081 端口是开放的。
确保 JobManager 已经正常启动。

六、总结

本文介绍了如安在 Linux 环境下部署 Flink Standalone 集群，从环境准备、安装设置到集群启动和测试。Standalone 模式适合测试和开辟环境的快速部署，操纵简单。如果需要在生产环境中使用，可以考虑使用 YARN 或 Kubernetes 进行更复杂的集群管理。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)