ToB企服应用市场:ToB评测及商务社交产业平台

标题: Flink on Yarn安装设置,大数据技能竞赛（容器环境） [打印本页]

作者: 温锦文欧普厨电及净水器总代理 时间: 2024-12-14 18:46
标题: Flink on Yarn安装设置,大数据技能竞赛（容器环境）

任务A：大数据平台搭建（容器环境）（15分）

环境搭建请看这篇文章大数据模块A环境搭建
前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装设置
服务端登录地址详见各任务服务端阐明。
补充阐明：宿主机可通过Asbru工具或SSH客户端举行SSH访问；
相关软件安装包在宿主机的/opt目次下，请选择对应的安装包举行安装，用不到的可忽略；
所有任务中应用命令必须采用绝对路径；
进入Master节点的方式为
docker exec -it master /bin/bash
进入Slave1节点的方式为
docker exec -it slave1 /bin/bash
进入Slave2节点的方式为
docker exec -it slave2 /bin/bash
三个容器节点的root密码均为123456
提前准备好flink-1.14.0-bin-scala_2.12.tgz放在宿主机的/opt/下（模拟的本身准备，比赛时会提供）
Hadoop 完全分布式安装设置

已完成搭建Hadoop完全分布式安装设置
Flink on Yarn安装设置

本任务需要使用root用户完成相关设置，已安装Hadoop及需要设置前置环境，详细要求如下：
1、从宿主机/opt目次下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中,将Flink包解压到路径/opt/module中(若路径不存在，则需新建)，将完整解压命令复制粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
第一步：从宿主机/opt目次下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中

[root@Bigdata ~]# docker cp /opt/flink-1.14.0-bin-scala_2.12.tgz master:/opt/software

复制代码

第二步：将Flink包解压到路径/opt/module中(若路径不存在，则需新建)

[root@master ~]# tar zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/

复制代码

2、修改容器中/etc/profile文件，设置Flink环境变量并使环境变量见效。在容器中/opt目次下运行命令flink --version，将命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
第一步：重命名

[root@master ~]# mv /opt/module/flink-1.14.0 /opt/module/flink

复制代码

第二步：修改容器中/etc/profile文件，设置Flink环境变量

在文件末尾添加
#FLINK_HOME
export FLINK_HOME=/opt/module/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

复制代码

第三步：使环境变量见效

[root@master ~]# source /etc/profile

复制代码

第四步：在容器中/opt目次下运行命令flink --version

[root@master ~]# cd /opt/
[root@master opt]# flink --version
Version: 1.14.0, Commit ID: 460b386
[root@master opt]#

复制代码

[root@master opt]#

复制代码

3、开启Hadoop集群，在yarn上以per job模式（即Job分离模式，不采用Session模式）运行 $FLINK_HOME/examples/batch/WordCount.jar，将运行结果最后10行截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。
第一步：设置flink
在flink-conf.yaml文件末端插入
vi /opt/module/flink/conf/flink-conf.yaml

classloader.check-leaked-classloader: false

复制代码

第二步：开启Hadoop集群

start-all.sh

复制代码

第三步：在yarn上以per job模式（即Job分离模式，不采用Session模式）运行 $FLINK_HOME/examples/batch/WordCount.jar

[root@master ~]# flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar

复制代码

声明：此文章为个人学习笔记，如文章有题目欢迎留言探究，也盼望您的指正！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)