Hadoop3.1.4完全分布式集群搭建
一、.修改主机名在Centos7中直接利用root用户实验hostnamectl命令修改，重启（reboot）后永世生效。
https://i-blog.csdnimg.cn/direct/89820a804bf245b0a74f2862ce18244b.png
要求：三台主机的名字分别为：master slave1 slave2
二、关闭防火墙
1.查看CentOS 7防火墙状态
https://i-blog.csdnimg.cn/direct/872f6d9f2aa14f139bdf5a1e76f35476.png
2.关闭运行的防火墙
https://i-blog.csdnimg.cn/direct/8f6510c1b9d04ff7b86591c7c62b4ccd.png
关闭后，可查看防火墙状态，当显示disavtive（dead）的字样，说明CentOS 7防火墙已经关闭。
但要注意的是，上面的命令只是暂时关闭了CentOS 7防火墙，当重启操纵体系后，防火墙服务还是会再次启动。如果想要永世关闭防火墙则还必要禁用防火墙服务。
3.禁用防火墙服务
https://i-blog.csdnimg.cn/direct/b008d129a8d94e87875be2e90eb4f2c4.png
三、关闭NetworkManger服务
NAT模式，修改网卡配置文件后，重启服务出现错误’Job for network.service failed because the control process exited with error code. See “systemctl status network.service” and “journalctl -xe” for details.’
解决方法：
1.和 NetworkManager 服务有冲突，关闭 NetworkManger 服务
https://i-blog.csdnimg.cn/direct/c974e96e29244dd29c652c0c7a379cdc.png
2.克制开机启动NetworkManager 服务
https://i-blog.csdnimg.cn/direct/1826b233865f440cb38a26c51ee65850.png
四、配置静态ip
利用root用户修改当前启用的网卡配置文件，所在路径为 /etc/sysconfig/network-scripts ，CentOS 6体系默以为ifcfg-eth0，CentOS 7体系默以为ifcfg-ens32 ，利用vi编辑器编辑ifcfg-ens32文件，所用命令如下：
https://i-blog.csdnimg.cn/direct/26b871bed58047c3b6afcf8e379464af.png
三个节点上的这个文件都必要修改，修改的内容基本同等，如下是必要修改和添加的
https://i-blog.csdnimg.cn/direct/1b64e26639d640c897228fcdf54c3391.png
注意：配置完成后保存退出，利用systemctl restart network命令重启网卡服务。(如果利用service network restart命令，则必要编辑/etc/resolv.conf文件，添加对应的如下内容：nameserver 8.8.8.8 )
五、ip地点和主机名的映射
在完全分布式摆设的Hadoop平台上，为了方便各节点的交互，也为了尽量减少配置的修改，通常在配置文件中都会利用主机名来访问节点，这就必要精确的创建主机名与ip的映射。我们目前已经有了三台配置好网络的机器。现在我们有如许三台机器（master为主节点）：
1.必要利用root用户修改 /etc/hosts 文件，删除原来的内容，在末端直接追加内容（每台机器）：
命令：
vi /etc/hosts
https://i-blog.csdnimg.cn/direct/3a0b4b24fe324b08b423561c4593d7b8.png
2.配置完成后可以利用ping命令一一测试，看看是够能够精确剖析出ip地点，得到目的机器的回应（可以每台机器都测试一下：利用Ctrl + C结束）。
https://i-blog.csdnimg.cn/direct/c0d168b7214e4dc8bf299b411235884c.pnghttps://i-blog.csdnimg.cn/direct/10ba013a80b8456684690f1a6cd71cf5.png
https://i-blog.csdnimg.cn/direct/b6d6b4c4fb5041ffb101eceafc923366.png
3.在slave1和slave2 上也修改hosts文件，追加内容和步骤1的内容相同，然后重复步骤2
七、免密登录设置
1.天生公钥密钥对
在3个节点上分别都实验如下命令：
https://i-blog.csdnimg.cn/direct/4bffbeebba044c95b57f56fa8510d99b.png
连续按Enter键确认。
在root目次下输入：ll-a 可以查看当前目次下的所有文件（包含隐蔽文件）。
然后进入.ssh隐蔽目次，输入ls 命令，如图所示：
https://i-blog.csdnimg.cn/direct/e0a83a842350482f9de587904876361a.png
在图中能够看到包含两个文件分别是私钥和公钥，其中id_rsa为天生的私钥，id_rsa.pub为天生的公钥。
2.将子节点的公钥拷贝到主节点并添加进authorized_keys
在master节点上实验如下两行命令：https://i-blog.csdnimg.cn/direct/d2976949323a4b07887ba8124416e802.pnghttps://i-blog.csdnimg.cn/direct/797f4ad547fc4d1c9c2588b972230cbd.png
https://i-blog.csdnimg.cn/direct/491562726bcf455fa357f66a58e28d6d.png
实验时，到了红色框区域，必要输入yes
https://i-blog.csdnimg.cn/direct/7dc66a304b164b2e8eec229b5a1e5075.png
3.测试是否成功
为了测试免密设置是否成功，可实验如下命令：https://i-blog.csdnimg.cn/direct/eca8dbc5ba664de3952808b6e22e9779.png
https://i-blog.csdnimg.cn/direct/03f782fdd4d843eca6c0e4cea7763a9c.png
4.登出：exit
结果如图所示：https://i-blog.csdnimg.cn/direct/1cc2631635554049b5e615bcda46947d.png
八、配置jdk环境
为了规范后续Hadoop集群干系软件和数据的安装配置，这里在虚拟机的根目次下建一些文件夹作为约定
具体必要实验下面3条命令：
https://i-blog.csdnimg.cn/direct/024e72a8a5ec44569eacfe91d6d4bd6a.png
进入/opt目次下，实验ls命令，如图所示即为成功。
https://i-blog.csdnimg.cn/direct/c52048713f1c4b7e9c0c29812291bc98.png
1.下载jdk安装包和hadoop3.1.4
下载JDK地点 ： https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2.将本地的jdk安装包上传到/opt/software体系中
3.进入/opt/software目次下，解压jdk安装包到/opt/module
实验如下命令：
https://i-blog.csdnimg.cn/direct/0c8baaa9edd3461791d322bf70f10651.png
https://i-blog.csdnimg.cn/direct/1b2f0dc2cdb748bd84de685dfe1d84e4.png
解压后在/opt/module目次下利用ll命令查看：!](https://img-blog.csdnimg.cn/direct/6327133fd6d3457a896f36b2e32b3873.png)
https://i-blog.csdnimg.cn/direct/16d0b926d14d4a1db92edc00c979ee0b.png
4.配置环境变量
利用vi编辑器编辑etc文件夹下的profile文件，键盘按下大写字母G，即可将光标移动到文章的末尾。
https://i-blog.csdnimg.cn/direct/4891bae4bd4b4b2280857a70ec84754d.png
将如下内容添加到末尾
https://i-blog.csdnimg.cn/direct/a27a024937704e1a8f2bf256f603963d.png
刷新环境变量
https://i-blog.csdnimg.cn/direct/93263ccf8be54edbaea6588abcdb4009.png
利用命令测试jdk环境变量的配置
https://i-blog.csdnimg.cn/direct/d8534bc52f07493d800d4aa4f3fa5cd2.png
https://i-blog.csdnimg.cn/direct/2d806f476c3c4b5ab62e28eb59ab6094.png
将第一台机子master上的jdk和hadoop的软件包及环境变量配置文件，传给slave1和slave2https://i-blog.csdnimg.cn/direct/6de2af4fca2a4e508ea78a0fe9ab3f10.png
三台机子都必要刷新环境变量生效
https://i-blog.csdnimg.cn/direct/c416c62099cd431985d07d2f300f665b.png
九、yum
1、进入到/etc/yum.repos.d/
https://i-blog.csdnimg.cn/direct/23bf842a4cb443dea192c6e6c5c126c7.png
2、查看当前目次下的所有文件
https://i-blog.csdnimg.cn/direct/c6ce1728acd845adb1fb24cdc18da60f.png
3、删除所有以repo末端的文件
https://i-blog.csdnimg.cn/direct/b93c983fb20f4aaaa32e20a71ad84eed.png
注：可以通过ls查看是否删除
4、点击跟随
https://i-blog.csdnimg.cn/direct/b22174975b194e2fb17ecc55608eaf92.png
上传文件
https://i-blog.csdnimg.cn/direct/fe3f0e227be240d5ad92b862e3eb087e.png
上传文件后可以通过ls查看文件是否上传成功
5、扫除该文件内的所有内容
https://i-blog.csdnimg.cn/direct/74d15776cf6a4e70919c03bd18574d0a.png
6、创建元数据缓存
https://i-blog.csdnimg.cn/direct/7463b3833aa24463823788c983f9d2c9.png
7、下载vim编辑器
https://i-blog.csdnimg.cn/direct/b42fa1bd721a4aeda0beb64e76087353.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]