最新版hadoop-3.4.0集群安装和设置（目前论坛的都是老古董了，看我的准没错 ...

一.在ali-nginx-vm设置免密登录，ali-nginx-vm–>Redis集群三个服务器方向可免密，三台服务器互相切换可免密（步调相同不做赘述）反过来未设置
1.在ali-nginx-vm利用如下命令

1. ssh-keygen -t rsa

复制代码

2.双击两次回车天生公钥

3.分别发送到如下三台呆板，用如下命令

1. ssh-copy-id root@172.16.0.226

复制代码

4.依次发送输入密码：

5.测试免密登录乐成

可以略过，将所必要的集群服务器设置免密即可
6.三台服务器设置jdk，利用scp命令将ali-business-vm1服务器上的jdkrpm文件分别复制到对应三台服务器，作为hadoop的Java环境

7.切换服务器查看复制乐成

8.在三台服务器分别解压（别的两台类似不做赘述）：
命令：

1. rpm -ivh jdk-8u421-linux-x64.rpm  #默认解压到/usr/java目录

复制代码

9.修改/etc/profile文件设置环境变量：

1. export JAVA_HOME=/usr/java/jdk1.8.0-x64
2. export PATH=$JAVA_HOME/bin:$PATH

复制代码

10.使变量见效

1. source /etc/profile

复制代码

并利用

1. java  -version

复制代码

查看设置乐成：

11.在主节点vm1下载hadooptar包

12.设置主机映射

1. vim  /etc/hosts

复制代码

13.分别复制到别的两台服务器并检验乐成

14.在主节点根目录创建hadoop目录

15，将hadoop解压到hadoop目录之下：

1. tar -zxvf  hadoop-3.4.0.tar.gz  -C /hadoop

复制代码

16.进入hadoop目录查看是否解压乐成

17.在主节点上编辑Hadoop设置文件（/hadoop/hadoop-3.4.0/etc/hadoop/）：

• hadoop-env.sh：设置JAVA_HOME和其他环境变量。
  
• core-site.xml：设置文件系统的默认FS和IO设置。
  
• hdfs-site.xml：设置HDFS的副本策略和数据存储。
  
• mapred-site.xml：设置MapReduce作业的运行。
  
• yarn-site.xml：设置YARN的资源管理。
  
• workers（较低版本是slaves）：列出所有从节点的IP地址或主机名。
  

18.各文件设置信息如下（某些设置不是必须的，可以依据个人作业环境增删相关设置）：
hadoo-env.sh

1. 加入一行 ：export JAVA_HOME=/usr/java/jdk1.8.0-x64   #为Java的环境路径（换成自己的）

复制代码

core-site.xml

1. <configuration>
2. <property>
3.     <name>fs.defaultFS</name>
4.     <value>hdfs://ali-kafka-vm1:9000</value>  #//后面的主机名端口可自定义
5.   </property>
6.   <property>
7.     <name>hadoop.tmp.dir</name>
8.     <value>/hadoop/tmp</value>    #临时文件目录可自定义
9.   </property>
10. </configuration>

复制代码

hdfs-site.xml

1. <configuration>
2.   <property>
3.     <name>dfs.replication</name>
4.     <value>2</value>
5.   </property>
6.   <property>
7.     <name>dfs.namenode.name.dir</name>
8.     <value>file:/hadoop/hdfs/namenode</value>    #设置NameNode存储文件系统镜像的路径。
9.   </property>
10.   <property>
11.     <name>dfs.datanode.data.dir</name>
12.     <value>file:/hadoop/hdfs/datanode</value>       #设置DataNode存储数据块的路径。
13.   </property>
14. </configuration>

复制代码

mapred-site.xml

1. <configuration>
2. <property>
3.     <name>mapreduce.framework.name</name>     #指定MapReduce作业运行在YARN上。
4.     <value>yarn</value>
5.   </property>
6.   #以下配置用于在任务执行过程中定位 Hadoop MapReduce 相关的类和资源。例如，如果任务需要引用 Hadoop MapReduce 的库或者使用 Hadoop 的一些脚本，它们可以通过 HADOOP_MAPRED_HOME 环境变量来找到正确的路径。
7.    <property>
8.         <name>yarn.app.mapreduce.am.env</name>
9.         <value>HADOOP_MAPRED_HOME=/hadoop/hadoop-3.4.0</value>   #设置了 ApplicationMaster 的环境变量
10.     </property>
11.     <property>
12.         <name>mapreduce.map.env</name>
13.         <value>HADOOP_MAPRED_HOME=/hadoop/hadoop-3.4.0</value>  #设置了 Map 任务的环境变量。
14.     </property>
15.     <property>
16.         <name>mapreduce.reduce.env</name>
17.         <value>HADOOP_MAPRED_HOME=/hadoop/hadoop-3.4.0</value>  #设置了 Reduce 任务的环境变量
18.     </property>
19. </configuration>

复制代码

yarn-site.xml

1. <configuration>
2.   <property>
3.     <name>yarn.resourcemanager.hostname</name>
4.     <value>ali-kafka-vm1</value>                    #指定ResourceManager的主机名或IP地址
5.   </property>
6.    <property>
7.     <name>yarn.nodemanager.aux-services</name>     #设置NodeManager上运行的辅助服务
8.     <value>mapreduce_shuffle</value>
9.   </property>
10. </configuration>
11.                

复制代码

wokers

1. ali-kafka-vm2       #列出所有从节点的主机名或IP
2. ali-kafka-vm3

复制代码

17.利用scp命令将hadoop目录复制到别的两台服务器

1. scp -r /hadoop root@ali-kafka-vm3:/hadoop

复制代码

• 三台服务器均修改/etc/profile添加hadoop环境变量如下，并source
  
  1. export HADOOP_HOME=/hadoop/hadoop-3.4.0
  2. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  3. export HDFS_NAMENODE_USER=root
  4. export HDFS_DATANODE_USER=root
  5. export HDFS_SECONDARYNAMENODE_USER=root
  6. export YARN_RESOURCEMANAGER_USER=root
  7. export YARN_NODEMANAGER_USER=root

  复制代码
• 查看是否设置乐成（别的两节点操纵相同）
  
  
  
  
• 格式化HDFS，在主节点执行以下命令
  

1. hdfs namenode -format

复制代码

格式化乐成

21.在主节点上执行以下命令启动所有保卫历程：

1. start-dfs.sh

复制代码

1. start-yarn.sh

复制代码

22.主节点jps查看

23.从节点jps查看

24.用hadoop提供的测试jar包运行作业测试
①在主节点hadoop目录下创建text文件内容如下

②创建已经乐成，之后上传到hdfs

上传命令：

1. hdfs dfs -put /hadoop/text /input

复制代码

利用命令查看上传乐成：

1. hdfs dfs -ls /input

复制代码

②利用 Hadoop 自带的示例程序（如 wordcount）来测试 MapReduce 作业是否能够正常运行（这个作业会统计单词出现的次数）：

1. hadoop jar /hadoop/hadoop-3.4.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount /input /output

复制代码

执行乐成：

③查看输出目录：

可以看到输出数字2，与预期结果同等，至此hadoop3.4.0版本集群搭建乐成，以为有用的点个免费的赞吧！懂得掌声！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。