Hadoop3.1.4完全分布式集群搭建

一、.修改主机名

在Centos7中直接利用root用户实验hostnamectl命令修改，重启（reboot）后永世生效。

要求：三台主机的名字分别为：master slave1 slave2
二、关闭防火墙

1.查看CentOS 7防火墙状态

2.关闭运行的防火墙

关闭后，可查看防火墙状态，当显示disavtive（dead）的字样，说明CentOS 7防火墙已经关闭。
但要注意的是，上面的命令只是暂时关闭了CentOS 7防火墙，当重启操纵体系后，防火墙服务还是会再次启动。如果想要永世关闭防火墙则还必要禁用防火墙服务。
3.禁用防火墙服务

三、关闭NetworkManger服务
NAT模式，修改网卡配置文件后，重启服务出现错误’Job for network.service failed because the control process exited with error code. See “systemctl status network.service” and “journalctl -xe” for details.’
解决方法：
1.和 NetworkManager 服务有冲突，关闭 NetworkManger 服务

2.克制开机启动NetworkManager 服务

四、配置静态ip
利用root用户修改当前启用的网卡配置文件，所在路径为 /etc/sysconfig/network-scripts ，CentOS 6体系默以为ifcfg-eth0，CentOS 7体系默以为ifcfg-ens32 ，利用vi编辑器编辑ifcfg-ens32文件，所用命令如下：

三个节点上的这个文件都必要修改，修改的内容基本同等，如下是必要修改和添加的

注意：配置完成后保存退出，利用systemctl restart network命令重启网卡服务。(如果利用service network restart命令，则必要编辑/etc/resolv.conf文件，添加对应的如下内容：nameserver 8.8.8.8 )
五、ip地点和主机名的映射
在完全分布式摆设的Hadoop平台上，为了方便各节点的交互，也为了尽量减少配置的修改，通常在配置文件中都会利用主机名来访问节点，这就必要精确的创建主机名与ip的映射。我们目前已经有了三台配置好网络的机器。现在我们有如许三台机器（master为主节点）：
1.必要利用root用户修改 /etc/hosts 文件，删除原来的内容，在末端直接追加内容（每台机器）：

命令：
vi /etc/hosts

2.配置完成后可以利用ping命令一一测试，看看是够能够精确剖析出ip地点，得到目的机器的回应（可以每台机器都测试一下：利用Ctrl + C结束）。

3.在slave1和slave2 上也修改hosts文件，追加内容和步骤1的内容相同，然后重复步骤2

七、免密登录设置

1.天生公钥密钥对

在3个节点上分别都实验如下命令：

连续按Enter键确认。
在root目次下输入：ll-a 可以查看当前目次下的所有文件（包含隐蔽文件）。
然后进入.ssh隐蔽目次，输入ls 命令，如图所示：

在图中能够看到包含两个文件分别是私钥和公钥，其中id_rsa为天生的私钥，id_rsa.pub为天生的公钥。
2.将子节点的公钥拷贝到主节点并添加进authorized_keys

在master节点上实验如下两行命令：

实验时，到了红色框区域，必要输入yes

3.测试是否成功

为了测试免密设置是否成功，可实验如下命令：

4.登出：exit
结果如图所示：

八、配置jdk环境

为了规范后续Hadoop集群干系软件和数据的安装配置，这里在虚拟机的根目次下建一些文件夹作为约定
具体必要实验下面3条命令：

进入/opt目次下，实验ls命令，如图所示即为成功。

1.下载jdk安装包和hadoop3.1.4
下载JDK地点 ： https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2.将本地的jdk安装包上传到/opt/software体系中
3.进入/opt/software目次下，解压jdk安装包到/opt/module
实验如下命令：

解压后在/opt/module目次下利用ll命令查看：!](https://img-blog.csdnimg.cn/direct/6327133fd6d3457a896f36b2e32b3873.png)

4.配置环境变量

利用vi编辑器编辑etc文件夹下的profile文件，键盘按下大写字母G，即可将光标移动到文章的末尾。

将如下内容添加到末尾

刷新环境变量

利用命令测试jdk环境变量的配置

将第一台机子master上的jdk和hadoop的软件包及环境变量配置文件，传给slave1和slave2

三台机子都必要刷新环境变量生效

九、yum

1、进入到/etc/yum.repos.d/

2、查看当前目次下的所有文件

3、删除所有以repo末端的文件

注：可以通过ls查看是否删除
4、点击跟随

 上传文件

上传文件后可以通过ls查看文件是否上传成功
5、扫除该文件内的所有内容

6、创建元数据缓存

7、下载vim编辑器

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。