大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了：
[*]Hadoop（已更完）
[*]HDFS（已更完）
[*]MapReduce（已更完）
[*]Hive（已更完）
[*]Flume（已更完）
[*]Sqoop（已更完）
[*]Zookeeper（已更完）
[*]HBase（已更完）
[*]Redis （已更完）
[*]Kafka（已更完）
[*]Spark（已更完）
[*]Flink（正在更新！）
章节内容
上节完成了如下的内容：
[*]基础环境规划
[*]集群规划
[*]下载安装
[*]Standalone模式启动
https://i-blog.csdnimg.cn/direct/15a8b401fb684ad89f1b857c47819695.png
YARN模式部署
https://i-blog.csdnimg.cn/direct/194c2c5099014d4b810f5d52249fc5e0.png
环境变量
vim /etc/profile
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`
设置的结果如下图所示：
https://i-blog.csdnimg.cn/direct/630233d4ad4a4f93b4823ea01474156f.png
退出保存，并革新环境变量。
yarn-site
cd /opt/servers/hadoop-2.9.2/etc/hadoop
vim yarn-site.xml
我们需要在原来的基础上，写入一些新的内容：
<!-- YRAN Flink 相关 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>h123.wzk.icu:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>h123.wzk.icu:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>h123.wzk.icu:8031</value>
</property>
设置样式如下图所示：
https://i-blog.csdnimg.cn/direct/6126e2a6315f4f3f9d2a082ac5b49048.png
同步设置
我们需要在：
[*]h121 节点
[*]h122 节点
[*]h123 节点
这三台呆板上，都设置好一样的内容。
由于设置的过程根本重复，这里就跳过我设置的过程了，大致说一下需要设置的内容：
[*]Flink环境
[*]环境变量profile
[*]yarn-site
[*]停止Flink服务
[*]停止Hadoop集群等服务
[*]停止YARN集群等服务
[*]重启Hadoop集群
[*]重启YARN集群
我这里使用之前的 rsync-script 工具举行同步了：
https://i-blog.csdnimg.cn/direct/bffcef19578d4e2f944b10a9c606520a.png
漫长的期待之后，可以看到已经传输完毕了：
https://i-blog.csdnimg.cn/direct/8d15557871a84dd0ac0ffd1f6921dc55.png
停止Hadoop
cd /opt/servers/hadoop-2.9.2/sbin
stop-all.sh
h121
https://i-blog.csdnimg.cn/direct/4b013a6e2d184cf8954c8c3dc10e760b.png
停止YARN集群
h123
h123节点执行（ResourceManager节点在这里）：
https://i-blog.csdnimg.cn/direct/4a90a49460fc44b7beaf9e4257db731d.png
停止Flink
h121节点执行：
./stop-cluster.sh
https://i-blog.csdnimg.cn/direct/7f24249e92af4ad891859809f94ad0a5.png
停止结果
h121
（还剩下一个ZK的服务，非必须，想结束的话也可以结束掉）
https://i-blog.csdnimg.cn/direct/1797b5cb11394e718094074e6db2b4f9.png
h122
https://i-blog.csdnimg.cn/direct/5a28bd873e984db2a0c2fa90834442c0.png
h123
https://i-blog.csdnimg.cn/direct/02693e32e43648ca96b360bc75bc7ac4.png
启动Hadoop集群
一切确认没有标题之后，我们就可以重新启动了。
h121
start-all.sh
https://i-blog.csdnimg.cn/direct/9bf2443f856a41f4a1c59daca8e13bdf.png
h122
https://i-blog.csdnimg.cn/direct/53e940502a0444eba4055178c08f9e3d.png
h123
https://i-blog.csdnimg.cn/direct/5f87f0d831794f7189a7fa6ed9047ef2.png
启动YARN集群
h123
为了防止YARN启动异常，我们需要到 h123 包管启动一次:
start-yarn.sh
https://i-blog.csdnimg.cn/direct/ca0c820c1688490094387c1574cf5d5b.png
申请资源
查看资助
cd /opt/servers/flink-1.11.1/bin/
./yarn-session.sh -h
可以看到该脚本的说明如下：
https://i-blog.csdnimg.cn/direct/155312082aeb4ff8851cc2bd90148068.png
测试脚本1 申请资源
./yarn-session.sh -n 2 -tm 800 -s 1 -d
上面的脚本的含义是：
[*]-n 表示申请2个容器 这里就是指多少个TaskManager
[*]-s 表示每个TaskManager的Slots数量
[*]-tm 表示每个 TaskManager的内存巨细
[*]-d 表示配景的方式运行程序
脚本1 表明
上面的脚本会向YARN申请3个Container，即便写的是2个，由于ApplicationMaster和JobManager有一个额外的容器，一旦将Flink部署到YARN集群中，就会显示JobManger的毗连具体信息。
2个Container启动TaskManager -n 2，每个TaskManager拥有1个TaskSlots -s 1，并且向每个TaskManager的Container申请800M的内存，以及一个 ApplicationMaster jobManager
如果不想让Flink YRAN客户端始终运行，那么也可以启动分离的YARN会话，被参数被称为-d或–detached，这种环境下，Flink YARN客户端只会将Flink提交给集群，然后关闭它自己。
整个过程大概是：yarn-session.sh（开辟资源） + Flink run（提交任务）
[*]使用Flink中的yarn-session，会启动两个必要服务JobManager和TaskManager
[*]客户端通过Flink run提交作业
[*]yarn-session 会一直启动，不绝的接收客户端提交的作业
[*]这种方式创建的Flink集群会独占资源
[*]如果有大量的 作业/任务 较小、工作时间短，适合使用这种方式，减少资源创建的时间。
脚本1 执行结果
可以看到一些日志内容：
2024-07-24 16:34:33,236 WARNorg.apache.flink.yarn.configuration.YarnLogConfigUtil [] - The configuration directory ('/opt/servers/flink-1.11.1/conf') already contains a LOG4J config file.If you want to use logback, then please delete or rename the log configuration file.
2024-07-24 16:34:33,381 INFOorg.apache.hadoop.yarn.client.RMProxy [] - Connecting to ResourceManager at h123.wzk.icu/124.223.26.81:8032
2024-07-24 16:34:33,724 INFOorg.apache.flink.runtime.util.config.memory.ProcessMemoryUtils [] - The derived from fraction jvm overhead memory (160.000mb (167772162 bytes)) is less than its min value 192.000mb (201326592 bytes), min value will be used instead
2024-07-24 16:34:33,734 INFOorg.apache.flink.runtime.util.config.memory.ProcessMemoryUtils [] - The derived from fraction jvm overhead memory (172.800mb (181193935 bytes)) is less than its min value 192.000mb (201326592 bytes), min value will be used instead
2024-07-24 16:34:34,210 INFOorg.apache.flink.yarn.YarnClusterDescriptor [] - The configured JobManager memory is 1600 MB. YARN will allocate 2048 MB to make up an integer multiple of its minimum allocation memory (1024 MB, configured via 'yarn.scheduler.minimum-allocation-mb'). The extra 448 MB may not be used by Flink.
2024-07-24 16:34:34,211 INFOorg.apache.flink.yarn.YarnClusterDescriptor [] - The configured TaskManager memory is 1728 MB. YARN will allocate 2048 MB to make up an integer multiple of its minimum allocation memory (1024 MB, configured via 'yarn.scheduler.minimum-allocation-mb'). The extra 320 MB may not be used by Flink.
运行过程如下图所示：
https://i-blog.csdnimg.cn/direct/1130f3b378fb4e8ebd5e348d9f5c8acc.png
测试脚本2 提交运行
我们也可以直接在YARN上提交运行Flink作业（Run a Flink job on YARN）
./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /opt/wzk//WordCount.jar
上述参数的一些表明：
[*]-m JobManager 的地点
[*]-yn TaskManager的个数
停止 yarn-cluster
yarn application -kill application_xxxxxxxxx
脚本2 表明
https://i-blog.csdnimg.cn/direct/5b82d1805e6246819bce6d6c9ca3d00a.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]