一.准备工作
搭建好VMware Workstation Pro（我这里装的版本是16）
二.新建假造机hadoop01
搭建hadoop集群需要三台假造机
1.新建假造机——>自定义（高级）
2.不用改动，点击下一步
3.映像文件稍后再加入
4.选择Linux——>CentOS 7 64位
5.可以在存放假造机的文件内新建一个文件夹，专门放hadoop集群需要的假造机（有三个）
6.处置处罚器数量设置一个就好
7.内存不敷的选2048就足够了的，我这里设置4096
我的存储磁盘文件的位置改了一下
编辑假造机设置，将装好的映像文件放进来
（映像文件可以在官网下载：Index of /7.6.1810/isos/x86_64）
打开假造机，选择完语言后，点击安装位置，然后选择我要配置分区
点击左下角的加号
点击添加挂载点
/根目次直接添加挂载点即可
完成
接受更改即可
8.点击软件选择
9.点击网络和主机名
以太网 打开即可
开始安装
设置一下root的登录密码（尽量设置简单一些，方便每次登陆）
然后等待安装
右下角重启
现在还未接受允许证，点击进去
勾选我同意，然后完成
完成配置
选择语言，一直前进
地域时间选择中国上海即可
设置一下账户密码（不过后续重要用的是root用户）
10.关闭hadoop01，然后如下图拍摄快照
三.克隆假造机
1.卸载体系自带的jdk （我们这里要卸载体系自带的jdk）
开启hadoop01假造机，登录时用户点击未列出，用户名为root，密码是自己设的；
打开终端，输入 rpm -qa | grep java
有七个包
使用rpm命令卸载这体系自带的七个包
使用命令：rpm -e --nodeps [包名] ，七个包都需要使用一次命令，
卸载完以后，使用 rpm -qa | grep java查看一下包是否卸载干净
2.关闭假造机，准备克隆假造机
右键hadoop01——>管理——>克隆
将假造机名称改为hadoop02
完成后，等待一下
然后跟hadoop02克隆的步调一样，克隆hadoop03
克隆好以后，这里就有三台假造机：hadoop01，hadoop02，hadoop03
四.假造机的网络配置
1.配置静态ip
（ip地点的筹划要跟主机IPV4的相对应，但是末了三位数需要在128-255这个区间）
win+R打开cmd，输入命令：ipconfig，
查看VMware Network Adapter VMnet8主机ip 地点
我这里IPV4是192.168.124.1
集群部署规划：
| 主机名 | HDFS | YARN | IP地点 | | hadoop01 | NameNode
DataNode
| ResourceManager
NodeManager
| 192.168.124.128 | | hadoop02 | SecondaryNameNode
DataNode
| NodeManager | 192.168.124.129 | | hadoop03 | DataNode | NodeManager | 192.168.124.130 |
这边IP地点就是设置主机地点，除了后三位，其他都跟前面查询到的IPV4是一样的，
后三位要在128-255之间。
打开假造机hadoop01，以这一台做示范
打开假造机后，进入终端 ，
输入 vi /etc/sysconfig/network-scripts/ifcfg-ens33 编辑
按i进入insert模式，下图是原来的
修改：
BOOTPROTO="static"
ONBOOT="yes"
IPADDR=192.168.124.128
NETMAST=255.255.255.0
GATWAY=192.168.124.2
DNS1=8.8.8.8
DNS2=114.114.114.114
（按Esc退出编辑模式，然后:wq退出编辑并保存）
注意：IPADDR每台主机是不同的，根据自己的来设定，GATWAY网关我这边是192.168.124.2
hadoop02和hadoop03也同上设置
*在开启第三台假造机时，有如下报错
编辑假造机设置，将内存改为上述报错建议的大小即可
重新开启假造机就可以了。
hadoop02：
hadoop03：
五.关闭防火墙
1.查看一下防火墙状态：systemctl status firewalld.service
2.永久关闭防火墙：systemctl disable firewalld.service
三台假造机都需要关闭防火墙
六.修改主机名
现在三台主机名都为localhost，为了方便后续与服务器毗连，要把三台主机分别对应修改为hadoop01、hadoop02和hadoop03
用命令：vim /etc/hostname
七.配置主机名与IP映射
配置主机名与IP映射重要是方便主机名和静态ip映射
终端输入：vim /etc/hosts
加入如下三行：
192.168.124.128 hadoop01
192.168.124.129 hadoop02
192.168.124.130 hadoop03
三台假造机都要配置，配置好以后，执行 ping hadoop02 看看是否能够ping通
如果出现如上图情况，证实设置乐成。
可以将三台假造机都互相ping一下。
八.设置SSH免密登录
每个节点之间ssh毗连要不停输入密码，为了防止这些操纵，就得设置一下ssh免密登录。
在终端输入 ssh-keygen -t rsa 生成秘钥 ，然后一直回车
另外两台假造机也需要如上一样生成秘钥
然后，互相复制公钥到每一台假造机
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop01
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop02
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop03
回车后——>yes——>输root的登录密码
三台假造机都需要输，然后用ssh hadoop01，ssh hadoop02，ssh hadoop03验证，如下图时，免密配置乐成。
九.安装远程工具Xshell和Xftp
在官网下载，家庭/学校免费 - NetSarang Website
新建会话
将hadoop01、hadoop02、hadoop03都毗连上
十.安装和配置Java
1.创建目次，用来放置压缩包以及解压缩后的内容
打开Xftp进行新建目次，也可以在Xshell中使用命令
mkdir -p /export/software
mkdir -p /export/servers
mkdir -p /export/data
2.将hadoop和jdk的安装包用Xftp上传
（安装包可以到官网下载）
在Xshell中用ls命令查看software下的压缩包
3.解压jdk
将jdk解压到前面创建好的目次：/export/servers/中
解压完成
4.配置JDK环境变量
输入 vim /etc/profile 进入编辑环境变量，
加上下面三行
保存退出后，用 source /etc/profile 将环境变量生效，
java -version查看jdk是否安装和配置乐成 ，下图就是安装乐成了。
十一.安装和配置Hadoop
1.解压Hadoop的压缩包
解压完毕
2.配置环境变量
vim /etc/profile 打开环境变量进行编辑
添加如下两行
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH HADOOP_HOME/binHADOOP_HOME/sbin
将环境生效
然后用 hadoop verison 检查是否安装乐成
十二.配置Hadoop集群
配置Hadoop集群重要需要修改六个配置文件，分别为hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves这六个。
cd /export/servers/hadoop-2.7.4/etc/hadoop/ 切换到这个目次下，可以看到需要修改增长配置的文件都在这个目次下
1.修改 hadoop-env.sh 文件
进入编辑：vim hadoop-env.sh
（路径太长了不想切换出去再粘贴进来，可以vim进入编辑以后按Esc，然后输入“：”，输入cd /export/servers/jdk1.8.0_161/ ——> 这里可以按tab键补全，比方输入ex，然后按tab键，就会补全export）如下图：
回到编辑模式：按Esc，然后按i，就能回到编辑模式
将JAVA_HOME路径添加进来
2.修改 core-site.sh 文件
进入编辑：vim core-site.xml
<configuration>
<!--用于设置 Hadoop 的文件体系，由 URL 指定-->
<property>
<name>fs.defaultFS</name>
<!--用于指定 namenode 地点在 hadoop01 上-->
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
</configuration>
最好对其一下
保存退出编辑
（这是配置了NameNode的运行主机的位置以及存放临时数据的目次）
3.修改 hdfs-site.sh 文件
vim hdfs-site.sh 进入编辑
保存并退出编辑
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:50090</value>
</property>
</configuration>
这里设置了副本的数量以及SecondaryNameNode所在节点位置
4.添加mapred-site.xml 文件
这里是指定mapreduce的运行框架，指定为yarn
目次中没有该文件，需要将mapred-site.xml.template复制改名为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
进入编辑：vim mapred-site.xml
保存并退出编辑
<configuration>
<!-- 指定 MapReduce 运行时框架，这里指定在 Yarn 上，默认是 local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.修改yarn-site.xml文件
保存并退出编辑
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6.修改slaves文件
还在当前目次中，编辑slaves文件：vim slaves
将localhost 删掉，改成如下图：
保存退出
7.将主节点配置好的文件分配到其他节点
分发体系文件：
scp -r /etc/profile hadoop02:/etc/profile
scp -r /etc/profile hadoop03:/etc/profile
分发配置文件：
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/
需要一点时间，等待一下
十三.Hadoop集群测试
第一次启动NameNode时，必须对主节点，也就是NameNode这个节点进行格式化
hdfs namenode -format 或 hadoop namenode -format
出现下面划红线这两行，就代表格式化乐成
只有第一次启动时需要格式化，后续都不需要，之间启动即可
十四.启动Hadoop集群
1.在hadoop01中，启动全部服务进程：
start-dfs.sh
2.启动YARN服务进程
输入：start-yarn.sh
3.查看进程
三个节点均使用 jps 查看进程
Hadoop集群启动正常
接下来可以在欣赏器中输入：
192.168.124.128:8088
192.168.124.128:50070
Hadoop集群配置完成
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
