马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
x
环境阐明
Centos7.5
flink-1.20.0-bin-scala_2.12.tgz
jdk1.8
hadoop-2.7.3
Flink运行依赖Java环境，如果没有Java环境，可自行下载Java后，再进行下面操纵
一，Flink下载~解压~运行
去Flink官网进行下载，Downloads | Apache Flink，点击链接跳转后，可以选择自己必要的版本进行下载，这里我选择的是flink-1.20.0-bin-scala_2.12.tgz。
下载完成后，上传至假造机 /opt 目次下，然后进行解压，解压至/usr/local/下
- cd /opt
- tar -xvf flink-1.20.0-bin-scala_2.12.tgz -C /usr/local
然后执行以下下令就可以启动单机版本的 Flink：
- cd /usr/local/flink-1.20.0
- bin/start-cluster.sh
启动后，查看jps
，如下图，包括一个taskmanager和一个ClusterEntryPoint历程
二，Web UI界面
Flink 提供了 WEB 界面用于直观的管理 Flink 集群，访问端口为 8081
通过访问，主机IP＋端标语即可访问，例如我的为：192.168.74.110:8081
如果访问不通，解决方法如下
此时必要修改Flink配置文件conf/config.yaml文件中的rest.bind-address属性为“0.0.0.0”.
修改完成之后，重启Flink服务就可以访问了
三，测试实例
启动后可以运行安装包中自带的词频统计案例，具体步调如下：
1）开启端口
输入下令后，下令行会卡住，这是正常征象，这是因为 nc下令正在等待吸收来自网络的数据。
2）运行实例
新打开一个下令行窗口，然后跳转至Flink目次下
- cd /usr/local/flink-1.20.0
- bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9999
3）输入测试数据
此时我们跳转回，我们刚才开启端口的那个下令窗口
输入测试数据,中心有空格
4）查看控制台输出
打开WEB UI页面，首先看到我们有一个实例即作业在运行中
然后依次点击下面的操纵，就可以看到实例运行结果
5）制止作业（实例）
①方式一，通过Web UI 页面的Cancel Job按钮
从左到右依次点击
然后进入页面后，点击右上角，竣事作业
②方式二利用 flink cancel 下令取消作业：
刚才在启动后，得到了JobId，如图
此时我们就可以打开新的下令行窗口输入以下下令
- cd /usr/local/flink-1.20.0
- bin/flink cancel "你的jobid"
输入以下下令
- cd /usr/local/flink-1.20.0
- ./bin/flink list
然后再执行bin/flink下令＋Jobid即可
6）制止Flink
四，Standalone Cluster
Standalone Cluster 模式是 Flink 自带的一种集群模式，具体配置步调如下：
1）提前准备
四台服务器，主机名分别为hadoop01 hadoop02 hadoop03 hadoop04，其中hadoop01为主节点
别的三台为slave节点
2）搭建步调
修改config.yaml 中 jobmanager 节点的通讯地址为 hadoop01，bind-host为: 0.0.0.0
- cd /usr/local/flink-1.20.0/conf
- vi config.yaml
修改 workers配置文件，将 hadoop02 和 hadoop03和hadoop04 配置为 slave 节点：
删除localhost
加入
将配置好的 Flink 安装包分发到其他两台服务器上：执行以下下令
- scp -r /usr/local/flink-1.20.0 hadoop02:/usr/local
- scp -r /usr/local/flink-1.20.0 hadoop03:/usr/local
- scp -r /usr/local/flink-1.20.0 hadoop04:/usr/local
- cd /usr/local/flink-1.20.0
- bin/start-cluster.sh
启动完毕后，你应该可以在主节点输入jps
可以看到
各子节点可以看到
Web UI界面可以看到
五，Flink Standalone HA搭建
Standalone Cluster HA（High Availability）是Flink中的一种高可用性配置，用于确保Flink集群在发生故障时可以或许继续运行。
1）提前准备
Hadoop 集群和 ZooKeeper 集群的部署搭建
2）搭建步调
①修改 config.yaml 文件
- cd /usr/local/flink-1.20.0/conf
- vi config.yaml
- # 配置使用zookeeper来开启高可用模式
- high-availability: zookeeper
- # 配置zookeeper的地址，采用zookeeper集群时，可以使用逗号来分隔多个节点地址
- high-availability.zookeeper.quorum: hadoop01:2181,hadoop02:2181,hadoop03:2181,hadoop04:2181
- # 在zookeeper上存储flink集群元信息的路径
- high-availability.zookeeper.path.root: /flink
- # 集群id
- high-availability.cluster-id: /standalone_cluster_one
- # 持久化存储JobManager元数据的地址，zookeeper上存储的只是指向该元数据的指针信息
- high-availability.storageDir: hdfs://hadoop01:9000/flink/recovery
- hadoop01:8081
- hadoop02:8081
- hadoop03:8081
修改conf/zoo.cfg文件
在里面加入以下代码
- server.1=hadoop01:2888:3888
- server.2=hadoop02:2888:3888
- server.3=hadoop03:2888:3888
②再将这些配置复制到其他节点
- scp -r /usr/local/flink-1.20.0 hadoop02:/usr/local
- scp -r /usr/local/flink-1.20.0 hadoop03:/usr/local
- scp -r /usr/local/flink-1.20.0 hadoop04:/usr/local
在主节点Flink安装目次下运行
- ./bin/start-zookeeper-quorum.sh
④启动hadoop集群
- start-dfs.sh
- start-yarn.sh
主节点执行
图片中可以看到，设置了三个主节点
然后Jps查看各个节点的情况
hadoop01
hadoop02
hadoop03
hadoop04
到这里，则表示 Standalone Cluster HA 模式搭建成功。
一个很常见的问题，在启动集群的时间，会启动失败，大概率是Flink中缺少Hadoop的jar包
这里去官网下载Downloads | Apache Flink
挑一个下载，然后放在Flink安装目次的lib目次下
是所有节点都要放！！！
4）制止集群
主节点执行以下下令
到这里，你就完成了Cenots上Flink Standalone 集群部署，恭喜你！！！
渴望可以帮助到你！！！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
