重新建假造机到搭建Hadoop保姆级教程

版天职析：

1. 本文档用的版本信息为以下版本：
2.         Hadoop3.1.3、 jdk1.8、centos7、VMware17

复制代码

一、新建假造机

1、点击新建假造机

1.2，这里的位置安装路径自界说，呆板名字这里我们分别命名为 node01、node02、node03

1.3，呆板核数根据自己的电脑设置自界说

1.4，呆板内存根据自己的电脑设置自界说

1.5下面的选项选默认就可以，点下一步即可

1.6 上面的步骤完成后点击编辑

1.7最小安装

1.8设置root用户密码和普通用户密码

1.9重启假造机进入root用户

《自此假造机以新建完毕》
二、固定IP_克隆_免密

1、固定IP

没有 vim 的可以用 vi 也可以下载vim利用
下载下令：yum -y install vim*
1.1防火墙设置

1.         查看防火墙状态：systemctl status firewalld
2.         关闭防火墙：systemctl stop firewalld
3.         禁用防火墙：systemctl disable firewalld

复制代码

1.2网络ip地点设置

1>vim /etc/sysconfig/network-scripts/ifcfg-ens33
按字母a大概i进入编辑模式
2> 修改和添加内容并保存

1.                 BOOTPROTO=static
2.                 ONBOOT=yes
3.            （IPADDR这里和vmware虚拟机工具中虚拟网络编辑器中NAT网段一致）
4.                 IPADDR=192.168.xx.xx(255以内)
5.                 GATEWAY=192.168.xx.2
6.         NETMASK=255.255.255.0
7.         DNS1=114.114.114.114

复制代码

按ESC退出编辑模式，输入 :wq 保存退出
3> 重启网络 systemctl restart network
4> 输入ip addr 查看ip地点是否更改过来
设置好后关闭假造机，等待下一步克隆
克隆

设置名称和路径

再克隆一台

另外两台假造机网络设置：
node02：
vim /etc/sysconfig/network-scripts/ifcfg-ens33

node03
vim /etc/sysconfig/network-scripts/ifcfg-ens33

1.3连接xhell

三台假造机都是如许操作，只有ip和名称要改变其他都不变

1.4修改主机名

1.4.1主机名设置（3台）

1> hostnamectl set-hostname node01/node02/node03
2> 输入 hostname 查看主机名是否改过来

1.5

主机映射设置（3台）
1> vim /etc/hosts 在最下面参加下列内容
192.168.88.130 node01
192.168.88.131 node02
192.168.88.132 node03

2> 测试：在node01 机上 直接输入 ping node02大概 ping node03是否连通，ctrl+c退出

免密

1、ssh免密登录(在node01实验)

1> ssh-keygen -t rsa 产生秘钥 回车4下即可

2> ssh-copy-id -i root@node01 复制秘钥到其他呆板
ssh-copy-id -i root@node02 复制秘钥到其他呆板
ssh-copy-id -i root@node03 复制秘钥到其他呆板

3> 测试： 在node01呆板上输入 ssh node03大概 ssh node02不输入密码表示乐成登录
测试完毕输入 ctrl+D 退回原来呆板

三、安装jdk

1、通过Xftp 8工具将jdk和hadoop导入假造机node01节点中

创建resources目录存放资源文件
mkdir \resources

2、解压jdk和hadoop

mkdir -p /export/server
创建目录，为解压文件目录
1、解压jdk：
tar -zxvf /resources/jdk-8u212-linux-x64.tar.gz -C /export/server/
2、解压hadoop：
tar -zxvf /resources/hadoop-3.1.3.tar.gz -C /export/server/
3、修改jdk 名称

1. mv jdk1.8.0_212 jdk

复制代码

4、修改hadoop名称

1. mv hadoop-3.1.3 hadoop

复制代码

5、设置环境变量

1. vi /etc/profile

复制代码

最后写入

1. export JAVA_HOME=/export/server/jdk
4. export HADOOP_HOME=/export/server/hadoop
5. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

最后革新环境
source /etc/profile
6、测试：java
java -version
hadoop：
hadoop version

四、摆设hadoop

1、将环境变量设置好，刚才已经设置了

2、进入/export/server/hadoop/etc/hadoop目录下：

1. cd /export/server/hadoop/etc/hadoop

复制代码

3、修改hadoop-env.sh 在文件末尾添加

1. export JAVA_HOME=/export/server/jdk
4. export HDFS_NAMENODE_USER=root
5. export HDFS_DATANODE_USER=root
6. export HDFS_SECONDARYNAMENODE_USER=root
7. export YARN_RESOURCEMANAGER_USER=root
8. export YARN_NODEMANAGER_USER=root

复制代码

4、修改core-site.xml

1. <configuration>
2.                                 <!-- 设置Hadoop分布式文件系统（HDFS）的默认文件系统的URL -->
3.         <property>
4.                 <name>fs.defaultFS</name>
5.                 <value>hdfs://node01:9000</value>
6.         </property>
8.               <!-- 定义Hadoop集群的临时目录位置 -->
9.         <property>
10.                 <name>hadoop.tmp.dir</name>
11.                 <value>/export/server/hadoop/data</value>
12.         </property>
13. </configuration>

复制代码

5、修改hdfs-site.xml

1. <configuration>
2.                                 <!-- 将副本数设置为3 -->
3.         <property>
4.                 <name>dfs.replication</name>
5.                 <value>3</value>
6.         </property>
7. </configuration>

复制代码

6、修改mapred-env.sh

1. export JAVA_HOME=/export/server/jdk

复制代码

7、修改yarn-env.sh

1. export JAVA_HOME=/export/server/jdk

复制代码

8、修改mapred-site.xml

1. <configuration>
2.   <!-- 使用YARN作为MapReduce作业的执行框架 -->
3.   <property>
4.     <name>mapreduce.framework.name</name>
5.     <value>yarn</value>
6.   </property>
7. </configuration>

复制代码

9、修改yarn-site.xml

1. <configuration>
2.   <property>
3.     <name>yarn.resourcemanager.hostname</name>
4.     <value>node01</value>
5.   </property>
7.   <property>
8.     <name>yarn.nodemanager.aux-services</name>
9.     <value>mapreduce_shuffle</value>
10.   </property>
12.   <property>
13.     <name>yarn.nodemanager.pmem-check-enabled</name>
14.     <value>false</value>
15.   </property>
17.   <property>
18.     <name>yarn.nodemanager.vmem-check-enabled</name>
19.     <value>false</value>
20.   </property>
22.   <property>
23.     <name>yarn.application.classpath</name>
24.     <value>/export/server/hadoop/etc/hadoop:/export/server/hadoop/share/hadoop/common/lib/*:/export/server/hadoop/share/hadoop/common/*:/export/server/hadoop/share/hadoop/hdfs:/export/server/hadoop/share/hadoop/hdfs/lib/*:/export/server/hadoop/share/hadoop/hdfs/*:/export/server/hadoop/share/hadoop/mapreduce/lib/*:/export/server/hadoop/share/hadoop/mapreduce/*:/export/server/hadoop/share/hadoop/yarn:/export/server/hadoop/share/hadoop/yarn/lib/*:/export/server/hadoop/share/hadoop/yarn/*</value>
25.   </property>
26. </configuration>

复制代码

10、编辑 workers（工作节点）

1. node01
2. node02
3. node03

复制代码

11、设置文件分发到另外两台呆板上

先在node02和node03创建路径：

1. mkdir -p  /export/server

复制代码

1、jdk分发：

scp -r /export/server/jdk node02:/export/server/
scp -r /export/server/jdk node03:/export/server/
2、hadoop分发

scp -r /export/server/hadoop node02:/export/server/
scp -r /export/server/hadoop node03:/export/server/
3、环境变量文件分发

scp -r /etc/profile node02:/etc/
scp -r /etc/profile node03:/etc/
4、查抄是否吸收到文件

两台呆板进行环境革新：source /etc/profile

12、对hadoop进行初始化

1. hdfs namenode -format

复制代码

13、启动hadoop集群

1. start-all.sh

复制代码

14、查抄节点

node01：

node02：

node03：

15、欣赏 hadoop ui 页面

进入hadoop的webUI管理界面查看：端口号9870
在欣赏器打开：ip:9870

至此hadoop完全分布式搭建完毕


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。