基于Hadoop搭建HDFS文件管理系统（大数据）
哈喽！！各位看官老爷，多日不见。各位还好吗？反正对方我很欠好（在没有更新的时间，对方我啊！真的太繁忙了），到现在才有一点点的时间进行创作。以下内容是对于在假造机中配置Hadoop的文件系统配置。希望可以帮到各位，以下内容是只有配置的思路和详细的配置过程。有一些内容还必要各位看官老爷自行手动进行。如若有帮助还望支持对于后续的Hadoop系类如（mapreduce\yarn等都可以进行解说）因为这一系类的都是以动手为主，全部不多说废话进入正题。---------------------------------------------------------------------------------------------------------------------------------
[*]在假造机中将的假造网络编辑器中将假造网卡设置为：
子网：192.168.88.0
子网掩码：255.255.255.0
NAT设置为：192.168.88.2
https://img-blog.csdnimg.cn/direct/b6476cc95cb34fab9b2ed76befcd7dc5.png
https://img-blog.csdnimg.cn/direct/be58d517d8664c5ca30091eccb04e210.png
https://img-blog.csdnimg.cn/direct/ff2396d44a324980b6348c3a1ee2420e.png
[*]安装假造机：
这一部分不做展示：如需请自行上网查找。
[*]克隆假造机为3台：
https://img-blog.csdnimg.cn/direct/c4095fbff036462aa2c5a44b79368249.png
点击下一步即可：但要注意选择第二个
https://img-blog.csdnimg.cn/direct/40780b2cb1414bd79ebf8a4baa43f56b.png
最后克隆完成为：
https://img-blog.csdnimg.cn/direct/fbe47622a6d1463d857adfaac49e4905.png
最后对CPU和内存进行如下配置：
https://img-blog.csdnimg.cn/direct/75c0c03e9f914e0a9cfce3f8e7c13283.png
[*]修改主机名（root）：
通过以下方法修改3台假造机名
https://img-blog.csdnimg.cn/direct/2e2b19f6499049b389b9033a39758fae.png
修改IP地址：
https://img-blog.csdnimg.cn/direct/4a7c4717e3054720943dd5f948f200c8.png
并修改成图所示
https://img-blog.csdnimg.cn/direct/ba45f38326254d008463a77f9a117a72.png
重启网卡并通过ifconfig进行查看：
https://img-blog.csdnimg.cn/direct/d3ef5e92932247e28c87d2d29c4dcb43.png
同样的操纵执行到剩下的假造机中
[*]配置主机名映射
在Windows系统中修改hosts文件，填入图中内容：
https://img-blog.csdnimg.cn/direct/9fe3c923eb7e461faf7d1ea202bcb087.png
通过记事本打开填入内容：
https://img-blog.csdnimg.cn/direct/8b119dc85868484a8dc5af621d5d6245.png
假如看不见记得勾选如下内容：
https://img-blog.csdnimg.cn/direct/8d64dc59cc694d7f8adbb83573e6021c.png
在3台linux的/etc/hosts中配置如下内容：
https://img-blog.csdnimg.cn/direct/4ba87de748ce49fb981dbcfb35e79ca3.png
https://img-blog.csdnimg.cn/direct/2dff5e6e40524d0b8e2474237deb0a67.png
[*]配置SSH免密登录
在每台假造机中使用ssh-keygen -t ras -b 4096,一起回车通用即可
https://img-blog.csdnimg.cn/direct/0f0e5d8bdd2f4fc18955400ddfa974a5.png
通过如下内容进行验证
https://img-blog.csdnimg.cn/direct/15e60acd09d04576b57969a4aee6e934.png
验证乐成后在每台假造机汇总执行如下内容
https://img-blog.csdnimg.cn/direct/7b760b1bb5254c1ebc6c071ea4c40108.png
可以通过ssh 进行验证
https://img-blog.csdnimg.cn/direct/b7cb7ae41f64448a939f9ca195569b6f.png
[*]创建hadoop用户并配置免密登录
在每台3假造机中执行：useradd hadoop,创建hadoop用户
在每台3假造机中执行passwd hadoop,设置hadoop用户密码为：（自行设置）
在每一台假造机中进行却换到hadoop用户：su – Hadoop,并 执行ssh-keygen -t rsa -b 4096,创建ssh密钥
每一台假造机都执行
https://img-blog.csdnimg.cn/direct/40bac482b51c4d81ba1d4b3a05ebf2d0.png
最后的展示结果为：
https://img-blog.csdnimg.cn/direct/27a739fb4c9a44f8a7d3d62c136e339f.png
[*]配置JDK环境
进入官网下载JDK
https://img-blog.csdnimg.cn/direct/b9cc8cba25cf4a14a4cb30329e8c5c55.png
创建文件夹用于部署JDK
https://img-blog.csdnimg.cn/direct/4899907afc9644d9b37cd23cc089b907.png
解压JDK文件到上述文件地
Tar -zxvf jdk-8u351-linux-x64.tar.gz -C /export/server
配置JDK软毗连
Ln -s /export/server/jdk1.8.0_351 /export/server/jdk
最后的显示为
https://img-blog.csdnimg.cn/direct/52efb07145d04884b5717b3613f50106.png
配置JAVA_home环境变量，添加到PATH环境变量中
https://img-blog.csdnimg.cn/direct/04ef2b2ff9b74e609e3bab05f3399160.png
最后的展示结果为
https://img-blog.csdnimg.cn/direct/246eea3a0024427cbb1ea7def29379ce.png
生效环境变量
https://img-blog.csdnimg.cn/direct/8cc45333de30446ab66b5b3737bdc89f.png
配置java执行步调的软毗连
https://img-blog.csdnimg.cn/direct/10272dbe3d334f5e987c10a0afda3f6d.png
验证展示
https://img-blog.csdnimg.cn/direct/14dec13f7b3c49cda31a48458c0d338b.png
运用scp指令将部署好的jdk部署到其他假造机中
https://img-blog.csdnimg.cn/direct/5eff2d4b73c94386ac5603592e4d03b5.png
进行到其他假造机中进行软毗连
重复以上软毗连和创建文件夹即可
然后将之间的环境复制到假造机中并生效环境变量
重复以上步调即可
[*]关闭防火墙和SElinux
在每台假造机中执行
避免出现网络不通的题目
https://img-blog.csdnimg.cn/direct/ec9017abb7984bb39ecbb9c95d58ebc4.png
https://img-blog.csdnimg.cn/direct/bb96cb609de14eea8fcd2dd5f167bbb9.png
然后关闭SElinux功能，避免导致背面软件运行出现题目
在每台假造机中进行如下内容
https://img-blog.csdnimg.cn/direct/cc6021f0eb56455db7d08a874d7ff0f8.png
https://img-blog.csdnimg.cn/direct/7c1faaf248f9452996ab82d859d0b8b8.png
https://img-blog.csdnimg.cn/direct/12454fdbebbd403c9ef07dfa7cedffaa.png
最后重启假造机
[*]修改时区配置制动时间同步
每台假造机都要修改配置
安装ntp软件
https://img-blog.csdnimg.cn/direct/34623efdc50841d8b4dd41846eb5adb9.png
删除旧的时间
https://img-blog.csdnimg.cn/direct/246a0c2467c043599d159a56416e7f25.png
更新时区
https://img-blog.csdnimg.cn/direct/cffa58be39ff4784b1615fa174a86024.png
同步时间
https://img-blog.csdnimg.cn/direct/49cd617d876b4f33802a63ae82488c40.png
开启ntp服务并设置开机自启
https://img-blog.csdnimg.cn/direct/f5c39fcdc41840b6ac96b78802bd698b.png
https://img-blog.csdnimg.cn/direct/39d3f8b646ce4da7bb684ee4687266a7.png
最后假如以上没有出现题目，记得要进行假造机快照拍摄
[*]开始进行假造机部署HDFS（下载hadoop安装包）
进入到https://hadoop.apache.org进行下载tar.gz安装包
部署规则为：
https://img-blog.csdnimg.cn/direct/b36fa9696a9c4f419949d536bcc36db0.png
[*]上传与解压
上传hadoop安装包到node1节点中
解压压缩包安装包到/export/server/中
https://img-blog.csdnimg.cn/direct/6cd3c496b8c84dde81c17af550f3fc1b.png
构建软毗连
https://img-blog.csdnimg.cn/direct/ff7ec695719146609c3a6a7bbaaae99f.png
最后的结果如下：
https://img-blog.csdnimg.cn/direct/94e9ffaf68c54bd699900cd0fedfde32.png
进入到hadoop安装包内
https://img-blog.csdnimg.cn/direct/1847c68c2beb4af2885acebe559bf793.png
[*]进入到hadoop修改配置文件，
https://img-blog.csdnimg.cn/direct/ca5c5034b34041a9806eea8cdb46471c.png
https://img-blog.csdnimg.cn/direct/0483c0f31dcd4bb8886b56042f1c21fa.png
[*]配置workers文件，应用自定义设置
https://img-blog.csdnimg.cn/direct/84138b19580b47198f833ba7ba288397.png
进行到workers文件中进行如下内容配置
https://img-blog.csdnimg.cn/direct/e7bdeddc241e45caa2724b0feac64003.png
[*]配置hadoop-env.sh
进入到hadooop-env.sh
https://img-blog.csdnimg.cn/direct/db159d6a689b43f2ab724a7b654d3bcf.png
配置如下内容
https://img-blog.csdnimg.cn/direct/ca8618f907c140da9c3d00b3ba458c8c.png
[*]配置core-site.xml文件
进入到core-site.xml
https://img-blog.csdnimg.cn/direct/adcc936410824bb88ef82a3d0cb493fc.png
配置如下内容
https://img-blog.csdnimg.cn/direct/7aa0540774a249578a23e16f2aa49425.png
[*]配置hdfs-site.xml（配置较大，假如不对，还请到网上自行搜刮）
进行到hdfs-site.xml
配置如下内容
https://img-blog.csdnimg.cn/direct/c2a34690c8204e4a92013ac7af089958.png
https://img-blog.csdnimg.cn/direct/e7437df676234ce0a6ece2558a24386d.png
[*]准备数据目录
用于存放节点数据
https://img-blog.csdnimg.cn/direct/2efa75947cb448f58bab128be4263557.png
[*]分发haadoop文件夹
使用远程复制到node2和node3
https://img-blog.csdnimg.cn/direct/b833f573b85447839e6b8c4790c8ea0b.png
结果如下：
https://img-blog.csdnimg.cn/direct/3640f5f7b3fa4383877328efa45e8de6.png
[*]配置环境变量
进入到/etc/profile
https://img-blog.csdnimg.cn/direct/15685bb4d5e14e789344a0951716df2d.png
配置内容如下
https://img-blog.csdnimg.cn/direct/c9a733e141ec46419263b5340c220213.png
刷新/etc/profile
https://img-blog.csdnimg.cn/direct/3b59aad3469c4abda394ba8baf021eb2.png
进入到其他假造机中进行上述操纵即可
[*]授权为hadoop用户
https://img-blog.csdnimg.cn/direct/835b61abf1e449a9988f18a2c67cb439.png
进入到其他假造机中进行上述操纵即可
[*]格式化整个文件系统
在hadoop用户中进行格式化（不要格式出错了）
https://img-blog.csdnimg.cn/direct/a0c32a34d4a94bc2aa6bf9bd34c14c44.png
验证是否格式化乐成（有数据就是才乐成了）
https://img-blog.csdnimg.cn/direct/ce264f6d7b3942b5ad86365e0f25d56b.png
[*]启动hdfs
https://img-blog.csdnimg.cn/direct/69abf55464bb46b9af1b454428440368.png
[*]查看hdfs webui
https://nide1:9870，即可查看hdfs文件系统的管理网页
https://img-blog.csdnimg.cn/direct/5851fbc18c8a49ab89a34140fce76c68.png
https://img-blog.csdnimg.cn/direct/b915762695554140bcd4e4bf07057348.png
到了这里，就阐明hdfs的文件系统乐成了！！！
---------------------------------------------------------------------------------------------------------------------------------假如各位看官老爷都可以配置到最后一步了，那么各位看官老爷可以对于HDFS文件系统有了一个深刻的相识。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]