(图文并茂)基于CentOS-7搭建hadoop3.3.6大数据集群
目次安装假造机
为hadoop用户添加权限
关闭防火墙
修改主机名以及ip所在映射
配置静态IP
连接xshell ，以hadoop用户登录
创建目次并将该文件夹权限赋予hadoop用户
安装配置jdk
关闭假造机，克隆其他两个节点
修改主机名和ip所在
配置免密登录
安装配置hadoop
配置文件修改
集群初始化
检察进程和web界面
jdk下载所在(tar.gz结尾的)
Java Downloads | Oracle
hadoop下载所在(tar.gz结尾的)
apache-hadoop-core-hadoop-3.3.6安装包下载_开源镜像站-阿里云 (aliyun.com)
安装假造机
CentOS-7安装教程-CSDN博客
linux命令不熟悉的可以看这篇
linux常用命令之大数据平台搭建版-CSDN博客
切换为命令行模式
linux图形化界面和字符界面的转换_linux图形界面切换到字符界面命令-CSDN博客
https://img-blog.csdnimg.cn/direct/cd646aaeb087402ca06ded19397ec9b7.png
为hadoop用户添加权限
vim /etc/sudoers
https://img-blog.csdnimg.cn/direct/845a1b995cfe4bc39b7fbb457529ee14.png
关闭防火墙
注：（root用户）
systemctl stop firewalld 关闭
https://img-blog.csdnimg.cn/direct/54f01e7e2b894c6e9d7ede7dd47c30e9.png
systemctl disable firewalld 取消开机自启动
https://img-blog.csdnimg.cn/direct/1726ade7045f4d86b2352c6966e75018.png
systemctl status firewalld 检查是否已关闭
https://img-blog.csdnimg.cn/direct/837e54e885ac4aca8543bc04062fdf94.png
修改主机名以及ip所在映射
主机名根据自己需要修改，ip所在后的就是映射的主机名
https://img-blog.csdnimg.cn/direct/a93a97270e154ba98017362a8c8af108.png
配置静态IP
https://img-blog.csdnimg.cn/direct/9e7ee3d45ddb4521838c88e43f21e1bd.png
点击假造网络编辑器，将网段修改为我们需要的网段
https://img-blog.csdnimg.cn/direct/bdab7ab43e25442b8a105d299ab2b545.png
https://img-blog.csdnimg.cn/direct/b4fda4b4235b4e488f7d7489f79ac873.png
https://img-blog.csdnimg.cn/direct/758949ff416d417db1704605d53f5ff5.png
再修改配置文件/etc/sysconf ig/network-scripts/ifcfg-ens33
vim /etc/sysconf ig/network-scripts/ifcfg-ens33
https://img-blog.csdnimg.cn/direct/59bf5473f8a24c00abdfb7901fe92219.png
重启网络服务：service network restart
https://img-blog.csdnimg.cn/direct/e639d0a8adb043298965f1cd107bf512.png
然后重启reboot （主机名用配置文件修改需要重启才会生效）
连接xshell ，以hadoop用户登录
https://img-blog.csdnimg.cn/direct/fd070e10c56a4be9bf9680e6404cd8ba.png
创建目次并将该文件夹权限赋予hadoop用户
$ sudo mkdir /opt/bigdata
$ sudo chown hadoop:hadoop /opt/bigdata https://img-blog.csdnimg.cn/direct/6f864a8cc9044611815b842d4fbc1fe7.png
切换到该目次
$ cd /opt/bigdata/
安装配置jdk
卸载OpenJDK、安装新版JDK、配置JDK
先用rpm -qa | grep java检察java-openjdk版本
https://img-blog.csdnimg.cn/direct/09d4c0869ce840099136029181e84840.png
根据上述情况，卸载1.7.0、1.8.0即可，差别镜像会略有差别
sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
sudo rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
sudo rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
sudo rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 rz上传jdk文件
$ rz
$ ll
total 135512
-rw-r--r--. 1 hadoop hadoop 138762230 Jul 282023 jdk-8u361-linux-x64.tar.gz
解压并重命名为jdk
$ tar -zxvf jdk-8u361-linux-x64.tar.gz
$ mv jdk1.8.0_361 jdk
$ ll
total 135516
drwxrwxr-x. 8 hadoop hadoop 4096 May 16 00:05 jdk
配置情况变量
vim /etc/profile
在末了添加以下内容
export JAVA_HOME=/opt/bigdata/jdk
export PATH=$PATH:$JAVA_HOME/bin
使修改后配置文件生效
$ source /etc/profile
检查是否安装成功
$ java -version
java version "1.8.0_361"
Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)
关闭假造机，克隆其他两个节点
https://img-blog.csdnimg.cn/direct/5f5dd9e5a9774c07808a82da91f5c3bc.png
https://img-blog.csdnimg.cn/direct/80356876b94f416daa9f79e0374d8026.png
https://img-blog.csdnimg.cn/direct/c43e8343769a45dcbfc84bfb5b0954ea.png
修改主机名和ip所在
节点2和3都需修改，修改之后重启reboot
sudo vim /etc/hostname
vim /etc/sysconf ig/network-scripts/ifcfg-ens33
https://img-blog.csdnimg.cn/direct/5222076279244c1cbabd4505b8dcd6a8.png
配置免密登录
重启之后通过xshell连接三个节点，均以hadoop用户登录
在每个节点都执行以下命令
ssh-keygen-trsa（连续三次回车）
ssh-copy-idly01 （输入yes,hadoop用户的密码）
ssh-copy-idly02 （输入yes,hadoop用户的密码）
ssh-copy-idly03 （输入yes,hadoop用户的密码）
https://img-blog.csdnimg.cn/direct/f9a0f7c21fd046d78bfa4fe03329097c.png
可在节点1ssh 连接其他节点测试是否成功
安装配置hadoop
切换目次，rz上传hadoop文件并解压,重命名
$ cd /opt/bigdata/
$ rz$ tar -zxvf hadoop-3.3.6.tar.gz$ mv hadoop-3.3.6 hadoop 配置情况变量
$ sudo vim /etc/profile
#修改为以下内容
export JAVA_HOME=/opt/bigdata/jdk
export HADOOP_HOME=/opt/bigdata/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
#生效
$ source /etc/profile
配置文件修改
将hadoop-env.sh mapred-env.sh yarn-env.sh 参加JAVA_HOME变量
$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/hadoop-env.sh
$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/mapred-env.sh
$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/yarn-env.sh
切换目次
$ cd /opt/bigdata/hadoop/etc/hadoop
$ 节点名称按照自己的修改，文件目次不一样的话也要修改！！！
core-site.xml修改
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://ly01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/bigdata/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml修改
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/bigdata/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/bigdata/hadoop/tmp/dfs/data</value>
</property>
</configuration>
mapred-site.xml修改
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml修改
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ly01</value>
</property>
</configuration>
workers修改
#删除原有内容，添加节点名称
ly01
ly02
ly03
将节点1上的hadoop文件夹拷贝到别的节点2、节点3上、
$ scp -r /opt/bigdata/hadoop/ hadoop@ly02:/opt/bigdata/
$ scp -r /opt/bigdata/hadoop/ hadoop@ly03:/opt/bigdata/
将节点1上的profile文件拷贝到别的节点2、节点3上,并到相应的机器上执行source
注：输入yes后输入root用户密码即可，如下
$ sudo scp /etc/profile root@ly02:/etc
The authenticity of host 'ly02 (192.168.100.101)' can't be established.
ECDSA key fingerprint is SHA256:g8y2CV35sHBpQEFYDXbO3dosU8UF4bABd3O0O3rPgDw.
ECDSA key fingerprint is MD5:b0:ee:6e:25:e1:f2:f4:c9:3f:1a:e9:18:44:d2:a1:84.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ly02,192.168.100.101' (ECDSA) to the list of known hosts.
root@ly02's password:
profile 100% 1961 1.1MB/s 00:00
$ sudo scp /etc/profile root@ly03:/etc
The authenticity of host 'ly03 (192.168.100.102)' can't be established.
ECDSA key fingerprint is SHA256:g8y2CV35sHBpQEFYDXbO3dosU8UF4bABd3O0O3rPgDw.
ECDSA key fingerprint is MD5:b0:ee:6e:25:e1:f2:f4:c9:3f:1a:e9:18:44:d2:a1:84.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ly03,192.168.100.102' (ECDSA) to the list of known hosts.
root@ly03's password:
profile 100% 1961 1.0MB/s 00:00
$
#在节点2执行
$ source /etc/profile
#在节点3执行
$ source /etc/profile
集群初始化
hadoop namenode -format https://img-blog.csdnimg.cn/direct/570ba8ffb6504e79af8d8009fd835cea.png
启动hadoop集群
start-yarn.sh
start-dfs.sh jps检察进程
节点1（主节点）
$ jps
2567 ResourceManager
3498 DataNode
3661 SecondaryNameNode
3390 NameNode
4334 NodeManager
4415 Jps
从节点（都是三个进程）
$ jps
2761 Jps
2698 NodeManager
2493 DataNode
检察进程和web界面
192.168.100.100:8088
https://img-blog.csdnimg.cn/direct/d6ed287ec37b4cc28606e6f763ac16da.png
192.168.100.100:9870
https://img-blog.csdnimg.cn/direct/3f94418cd928419a973105272af281bb.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]