hadoop集群搭建-克隆虚拟机，安装jdk，hadoop
2.2 hadoop运行情况的搭建2.2.1 情况准备
1）安装模板虚拟机，IP地址 192.168.10.100，主机名hadoop100，内存41GB，硬盘50GB
2）虚拟机配置
起首测试虚拟机是否可以正常上网，测试方法ping www.baidu.com
https://i-blog.csdnimg.cn/direct/7afcd504d2844a5e893d19df8ecffdb7.png
3）安装epel-release
注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件堆栈，大多数rpm包在官方 repository 中是找不到的）
yum install -y epel-release 安装出现题目标办理方法https://blog.csdn.net/m0_62569064/article/details/142967108?sharetype=blogdetail&sharerId=142967108&sharerefer=PC&sharesource=m0_62569064&spm=1011.2480.3001.8118
4）假如Linux 是安装的最小系统版本，还需要安装net-tools,vim
yum install -y net-tools yum install -y vim 5）关闭防火墙，关闭防火墙开机自启
#关闭防火墙
systemctl stop firewalld systemctl disable firewalld.service 注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
6）假如没有atguigu用户的话，创建atguigu用户，并修改atguigu用户的暗码
useradd atguigu passwd atguigu 7）给atguigu账号root 的权限
vim /etc/sudoers 在末了加一句
https://i-blog.csdnimg.cn/direct/51356d7590ed4ad7979885509aad5dc9.png
然后生存后退出，退出root
exit 移动到/opt目录下，创建module和software两个目录
cp /opt sudo mkdir module sudo mkdir software sudo chown atguigu:atguigu module/ software/ https://i-blog.csdnimg.cn/direct/0ab19e2bf99c4af6b3f67a39a755af2c.png
8）卸载自带的jdk
我们先来查看一下，我们的虚拟机中是否安装了jdk
rpm -qa | grep -i Java https://i-blog.csdnimg.cn/direct/840384973d014562944984d6cc78f060.png
rpm -qa | grep -i Java | xargs -n1 rpm -e --nodeps
rpm -qa：查询安装的所有的rpm软件包
grep-i：忽略大小写
xargs-n1：表现每次只传递一个参数
rpm-e -nodeps：逼迫卸载软件
https://i-blog.csdnimg.cn/direct/01dd79e93ae34467bbac4a98c0ee86c7.png
然后重启虚拟机
reboot 2.2.2 克隆虚拟机
起首给虚拟构造机
https://i-blog.csdnimg.cn/direct/b6221166dd54454a8afee2a362f92bba.png
然后举行克隆就可以了
https://i-blog.csdnimg.cn/direct/a2d3dbbfd0624c3c84583c4328e3b5aa.png
https://i-blog.csdnimg.cn/direct/695fa55cc0d445689fc50ec5ae34daa2.png
https://i-blog.csdnimg.cn/direct/2af17c2c3a534fb48d98e432ad75b9fa.png
https://i-blog.csdnimg.cn/direct/2669d6fd79974b9e91d4fc35c7451b17.png
https://i-blog.csdnimg.cn/direct/cfdf85c74b8e4eebb491495849792380.png
然后就完成安装了
修改克隆机IP
#修改本机的ip 就是把192.168.10.100改成192.168.10.102
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改主机名称
vim /etc/hostname
#查看主机映射
vim /etc/hosts
#重启虚拟机
reboot 103和104和以上的修改方式一样
配置完三台虚拟机后，再在每台虚拟机上检测一下是否修改乐成
#查看ip
ifconfig
#查看主机名
hostname
#ping一下外网
ping www.baidu.com 然后用远程毗连工具举行毗连
2.2.3 安装JDK
起首准备好安装在Linux系统上的jdk的压缩包，然后把压缩包传到虚拟机的 /opt/software/的目录下，假如是用X-Shell毗连就用Xftp传输，我用的是MobaXterm旁边有可视化界面可以直接传。
然后解压到/opt/module/的目录下
#解压 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module
查看是否解压完成，解压到指定位置
cd /opt/module
ll 配置情况变量
cd jdk1.8.0_212/
sudo vim /etc/profile 其中有一段代码
https://i-blog.csdnimg.cn/direct/b346f359375c45d4b53a42c87f4b5a96.png
这段代码就是遍历/etc/profile.d下的所有的以.sh结尾的文件
cd /etc/profile.d
ll https://i-blog.csdnimg.cn/direct/ba540505d71c4721becabe8fc1a7799c.png
内里一堆.sh结尾的文件
然后本身创建一个
sudo vim my_env.sh
编辑文件中的内容
#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin
然后重新加载一下
source /etc/profile java -version https://i-blog.csdnimg.cn/direct/8b58ac9baa2347559ae51bb82dc8fd3a.png
乐成安装好了
2.2.4 安装hadoop
和上面的步调差不多，都是解压，配置情况变量之类的，把你的Hadoop的安装包传上去
#解压 tar -zxvf "hadoop安装包" -C "解压的目录下"
#配置情况变量 cd /opt/module cd "hadoop的文件夹下"
sudo vim /etc/profile.d/my_env.sh https://i-blog.csdnimg.cn/direct/838ba3a85b934a099d0de7b9093eed29.png
source /etc/profile hadoop https://i-blog.csdnimg.cn/direct/8cf4543221bb45dd812316d70a98400f.png
看一下Hadoop内里有哪些内容
https://i-blog.csdnimg.cn/direct/d6601f0863124fc19a680c7043f6c7af.png
其中的bin目录下有好多下令
https://i-blog.csdnimg.cn/direct/be2f24d059f849b38771fe1b266c1218.png
我们经常会用到的有
hdfs：与hdfs存储相干的下令
mapred：计算相干的下令
yarn：资源调度相干的下令
进入etc下
https://i-blog.csdnimg.cn/direct/b6ca5fda229a40f5a5a3a0952d401aac.png
include中都是一些缓存文件
然后就是lib库，就是当地动态链接库，背面的除了sbin几乎就用不到了
sbin中
https://i-blog.csdnimg.cn/direct/43a58f56f07944e59a07bc8d7c9611d2.png
start-dfs.sh是启动集群的一个下令
start-yarn.sh是启动一个资源调度器的一个下令
mr-jobhistory-daemon.sh启动历史服务器的一个下令
hadoop-daemon.sh单节点
然后就是末了一个share分享，内里都是大量的学习资料，各种说明文档，然后我们进入到share中的hadoop中的mapreduce，内里提供一些官方提供的一些案例，方便后续举行一个使用。
总之，以后经常使用的就是bin etc sbin
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]