任务A：大数据平台搭建（容器环境）（15分）
环境搭建请看这篇文章大数据模块A环境搭建
前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装设置
服务端登录地址详见各任务服务端阐明。
补充阐明：宿主机可通过Asbru工具或SSH客户端举行SSH访问；
相关软件安装包在宿主机的/opt目次下，请选择对应的安装包举行安装，用不到的可忽略；
所有任务中应用命令必须采用绝对路径；
进入Master节点的方式为
docker exec -it master /bin/bash
进入Slave1节点的方式为
docker exec -it slave1 /bin/bash
进入Slave2节点的方式为
docker exec -it slave2 /bin/bash
三个容器节点的root密码均为123456
提前准备好flink-1.14.0-bin-scala_2.12.tgz放在宿主机的/opt/下（模拟的本身准备，比赛时会提供）
Hadoop 完全分布式安装设置
已完成搭建Hadoop完全分布式安装设置
Flink on Yarn安装设置
本任务需要使用root用户完成相关设置，已安装Hadoop及需要设置前置环境，详细要求如下：
1、 从宿主机/opt目次下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中,将Flink包解压到路径/opt/module中(若路径不存在，则需新建)，将完整解压命令复制粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
第一步：从宿主机/opt目次下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中
- [root@Bigdata ~]# docker cp /opt/flink-1.14.0-bin-scala_2.12.tgz master:/opt/software
- [root@master ~]# tar zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/
第一步：重命名
- [root@master ~]# mv /opt/module/flink-1.14.0 /opt/module/flink
- 在文件末尾添加
- #FLINK_HOME
- export FLINK_HOME=/opt/module/flink
- export PATH=$PATH:$FLINK_HOME/bin
- export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
- export HADOOP_CLASSPATH=`hadoop classpath`
- [root@master ~]# source /etc/profile
- [root@master ~]# cd /opt/
- [root@master opt]# flink --version
- Version: 1.14.0, Commit ID: 460b386
- [root@master opt]#
第一步：设置flink
在flink-conf.yaml文件末端插入
vi /opt/module/flink/conf/flink-conf.yaml
- classloader.check-leaked-classloader: false
第三步：在yarn上以per job模式（即Job分离模式，不采用Session模式）运行 $FLINK_HOME/examples/batch/WordCount.jar
- [root@master ~]# flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar
声明：此文章为个人学习笔记，如文章有题目欢迎留言探究，也盼望您的指正 ！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
