Hadoop HA高可用搭建2024（V3.3.6）

启动制止命令


启动服务

1. cd /data/soft/hadoop/sbin
2. hadoop-daemon.sh start journalnode
3. ./start-all.sh
5. mapred --daemon start historyserver
6. yarn --daemon start timelineserver

复制代码

制止服务

1. cd /data/soft/hadoop/sbin
2. hadoop-daemon.sh stop journalnode
3. ./stop-all.sh
5. mapred --daemon stop historyserver
6. yarn --daemon stop timelineserver

复制代码

HA 概述

HA 即高可用，在 Hadoop 中，只有 NN 和 MR 会出现单点故障。所以只需要对 NN 和 MR 做 HA
HA 原理就是额外起一台机子作冗余备份，当主机挂了，就让备机顶上。按照该想法会存在以下问题：

• 主备间如何同步 Edit？
  
• 如何检测主机下线？
  
• 如何做故障转移？
  

对于问题一：Hadoop 引入 JournalNode 解决
对于问题二：使用 ZK 来检测呆板状态变化
对于问题三：Hadoop 引入 DFSZKFailoverController 解决
引入新的部件，为了防止这些也是是单点的，所以也得给他们起多个

集群规划

按照以上分析，便有以下集群规划
node01node02node03NameNodeNameNodeNameNodeDFSZKFailoverControllerDFSZKFailoverControllerDFSZKFailoverControllerJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZKResourceManagerResourceManagerResourceManagerNodeManagerNodeManagerNodeManager
ZK 集群搭建

参考
ZooKeeper集群安装

Hadoop安装

Hadoop下载地址：
:::info

• https://hadoop.apache.org/releases.html
  
• https://archive.apache.org/dist/hadoop/common/（历史版本）
  :::
  将hadoop安装包"hadoop-3.4.0.tar.gz"，拷贝到CentOS中
  将Hadoop压缩包，解压缩到安装目录下 ：
  

1. tar -zxvf /data/soft/hadoop-3.3.6.tar.gz
2. mv hadoop-3.3.6 hadoop
3. chown -R root:root ./hadoop

复制代码

打开"/etc/profile"配置文件，配置hadoop情况变量（注意，标点符号全都要是英文半角）:

1. export HADOOP_HOME=/data/soft/hadoop
2. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3. export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
4. export HADOOP_CLASSPATH=`hadoop classpath`
5. #export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

复制代码

实验"/etc/profile"，让配置见效：

1. source /etc/profile

复制代码

测试hadoop安装：

1. hadoop version

复制代码

修改配置


hadoop-env.sh

修改hadoop-env.sh文件，设置运行情况变量及运行用户

1. export JAVA_HOME=/data/soft/sdkman/candidates/java/current
2. export HDFS_NAMENODE_USER=root
3. export HDFS_DATANODE_USER=root
4. export HDFS_SECONDARYNAMENODE_USER=root
5. export YARN_RESOURCEMANAGER_USER=root
6. export YARN_NODEMANAGER_USER=root
7. export HDFS_JOURNALNODE_USER=root
8. export HDFS_ZKFC_USER=root

复制代码

core-site.xml

   注意：
HA集群名称要和hdfs-site.xml中的配置保持一致
修改存储路径
Zookeeper集群的地址和端口

1. <configuration>
2.   <!-- HA集群名称，自定义，该值要和hdfs-site.xml中的配置保持一致  -->
3.   <property>
4.     <name>fs.defaultFS</name>
5.     <value>hdfs://mycluster</value>
6.   </property>
7.   <!-- 指定hadoop运行时产生文件的存储路径 -->
8.   <property>
9.     <name>hadoop.tmp.dir</name>
10.     <value>/data/apps/hadoop</value>
11.   </property>
12.   <!-- 设置HDFS web UI访问用户 -->
13.   <property>
14.     <name>hadoop.http.staticuser.user</name>
15.     <value>root</value>
16.   </property>
17.   <!-- ZooKeeper集群的地址和端口-->
18.   <property>
19.     <name>ha.zookeeper.quorum</name>
20.     <value>master:2181,slave1:2181,slave2:2181</value>
21.   </property>
23.   <!-- 配置该root允许通过代理访问的主机节点 -->
24.   <property>
25.     <name>hadoop.proxyuser.root.hosts</name>
26.     <value>*</value>
27.   </property>
28.   <!-- 配置该root允许代理的用户所属组 -->
29.   <property>
30.     <name>hadoop.proxyuser.root.groups</name>
31.     <value>*</value>
32.   </property>
33.   <!-- 配置该root允许代理的用户 -->
34.   <property>
35.     <name>hadoop.proxyuser.root.users</name>
36.     <value>*</value>
37.   </property>
39. </configuration>

复制代码

hdfs-site.xml

   注意：
查抄节点之间是否可以免密登录
集群名称和core-site中保持一致
集群相关节点及属性name cluster名称记得替换

1. <configuration>
2.   <!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
3.   <property>
4.     <name>dfs.nameservices</name>
5.     <value>mycluster</value>
6.   </property>
8.   <!-- NameNode 数据存储目录 -->
9.   <property>
10.     <name>dfs.namenode.name.dir</name>
11.     <value>file://${hadoop.tmp.dir}/name</value>
12.   </property>
13.   <!-- DataNode 数据存储目录 -->
14.   <property>
15.     <name>dfs.datanode.data.dir</name>
16.     <value>file://${hadoop.tmp.dir}/data</value>
17.   </property>
18.   <!-- JournalNode 数据存储目录 -->
19.   <property>
20.     <name>dfs.journalnode.edits.dir</name>
21.     <value>${hadoop.tmp.dir}/jn</value>
22.   </property>
24.   <!-- mycluster下面有3个NameNode，分别是nn1，nn2，nn3 -->
25.   <property>
26.     <name>dfs.ha.namenodes.mycluster</name>
27.     <value>nn1,nn2,nn3</value>
28.   </property>
30.   <!-- nn1的RPC通信地址, http通信地址 -->
31.   <property>
32.     <name>dfs.namenode.rpc-address.mycluster.nn1</name>
33.     <value>master:8020</value>
34.   </property>
35.   <property>
36.     <name>dfs.namenode.http-address.mycluster.nn1</name>
37.     <value>master:9870</value>
38.   </property>
39.   <!-- nn2的RPC通信地址, http通信地址 -->
40.   <property>
41.     <name>dfs.namenode.rpc-address.mycluster.nn2</name>
42.     <value>slave1:8020</value>
43.   </property>
44.   <property>
45.     <name>dfs.namenode.http-address.mycluster.nn2</name>
46.     <value>slave1:9870</value>
47.   </property>
48.   <!-- nn3的RPC通信地址, http通信地址 -->
49.   <property>
50.     <name>dfs.namenode.rpc-address.mycluster.nn3</name>
51.     <value>slave2:8020</value>
52.   </property>
53.   <property>
54.     <name>dfs.namenode.http-address.mycluster.nn3</name>
55.     <value>slave2:9870</value>
56.   </property>
58.   <!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
59.   <property>
60.     <name>dfs.namenode.shared.edits.dir</name>
61.     <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
62.   </property>
64.   <!-- 开启NameNode失败自动切换 -->
65.   <property>
66.     <name>dfs.ha.automatic-failover.enabled</name>
67.     <value>true</value>
68.   </property>
69.   <!-- 指定该集群出故障时，哪个实现类负责执行故障切换 -->
70.   <property>
71.     <name>dfs.client.failover.proxy.provider.mycluster</name>
72.     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
73.   </property>
75. <!-- 避免脑裂，配置隔离机制方法，即同一时刻只能有一台服务器对外响应-->
76.   <property>
77.     <name>dfs.ha.fencing.methods</name>
78.     <value>sshfence</value>
79.   </property>
80.   <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
81.   <property>
82.     <name>dfs.ha.fencing.ssh.private-key-files</name>
83.     <value>/root/.ssh/id_rsa</value>
84.   </property>
85.   <!-- 配置sshfence隔离机制超时时间 -->
86.   <property>
87.     <name>dfs.ha.fencing.ssh.connect-timeout</name>
88.     <value>30000</value>
89.   </property>
90.   
91. </configuration>

复制代码

mapred-site.xml

1. <configuration>
2.   <!-- 指定mr框架为yarn方式 -->
3.   <property>
4.     <name>mapreduce.framework.name</name>
5.     <value>yarn</value>
6.   </property>
8.   <!-- 历史服务器端地址 -->
9.   <property>
10.     <name>mapreduce.jobhistory.address</name>
11.     <value>master:10020</value>
12.   </property>
14.   <!-- 历史服务器 web 端地址 -->
15.   <property>
16.     <name>mapreduce.jobhistory.webapp.address</name>
17.     <value>master:19888</value>
18.   </property>
20. </configuration>

复制代码

yarn-site.xml

1. <configuration>
3.   <!-- 开启RM高可用 -->
4.   <property>
5.     <name>yarn.resourcemanager.ha.enabled</name>
6.     <value>true</value>
7.   </property>
9.   <!-- 指定RM的cluster id -->
10.   <property>
11.     <name>yarn.resourcemanager.cluster-id</name>
12.     <value>yrc</value>
13.   </property>
15.   <!-- 指定RM的名字 -->
16.   <property>
17.     <name>yarn.resourcemanager.ha.rm-ids</name>
18.     <value>rm1,rm2,rm3</value>
19.   </property>
21.   <!-- 分别指定RM的地址 -->
22.   <!-- 指定 rm1 的主机名, web 端地址, 内部通信地址, 申请资源地址, NM 连接的地址 -->
23.   <property>
24.     <name>yarn.resourcemanager.hostname.rm1</name>
25.     <value>master</value>
26.   </property>
27.   <property>
28.     <name>yarn.resourcemanager.webapp.address.rm1</name>
29.     <value>master:8088</value>
30.   </property>
31.   <property>
32.     <name>yarn.resourcemanager.address.rm1</name>
33.     <value>master:8032</value>
34.   </property>
35.   <property>
36.     <name>yarn.resourcemanager.scheduler.address.rm1</name>
37.     <value>master:8030</value>
38.   </property>
39.   <property>
40.     <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
41.     <value>maste:8031</value>
42.   </property>
44.   <!-- 指定 rm2 配置, web 端地址, 内部通信地址, 申请资源地址, NM 连接的地址 -->
45.   <property>
46.     <name>yarn.resourcemanager.hostname.rm2</name>
47.     <value>slave1</value>
48.   </property>
49.   <property>
50.     <name>yarn.resourcemanager.webapp.address.rm2</name>
51.     <value>slave1:8088</value>
52.   </property>
53.   <property>
54.     <name>yarn.resourcemanager.address.rm2</name>
55.     <value>slave1:8032</value>
56.   </property>
57.   <property>
58.     <name>yarn.resourcemanager.scheduler.address.rm2</name>
59.     <value>slave1:8030</value>
60.   </property>
61.   <property>
62.     <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
63.     <value>slave1:8031</value>
64.   </property>
65.   <!-- 指定 rm3 配置, web 端地址, 内部通信地址, 申请资源地址, NM 连接的地址 -->
66.   <property>
67.     <name>yarn.resourcemanager.hostname.rm3</name>
68.     <value>slave2</value>
69.   </property>
70.   <property>
71.     <name>yarn.resourcemanager.webapp.address.rm3</name>
72.     <value>slave2:8088</value>
73.   </property>
74.   <property>
75.     <name>yarn.resourcemanager.address.rm3</name>
76.     <value>slave2:8032</value>
77.   </property>
78.   <property>
79.     <name>yarn.resourcemanager.scheduler.address.rm3</name>
80.     <value>slave2:8030</value>
81.   </property>
82.   <property>
83.     <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
84.     <value>slave2:8031</value>
85.   </property>
87.   <!-- 指定 zookeeper 集群的地址 -->
88.   <property>
89.     <name>yarn.resourcemanager.zk-address</name>
90.     <value>master:2181,slave1:2181,slave2:2181</value>
91.   </property>
93.   <!-- 启用自动恢复 -->
94.   <property>
95.     <name>yarn.resourcemanager.recovery.enabled</name>
96.     <value>true</value>
97.   </property>
99.   <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 -->
100.   <property>
101.     <name>yarn.resourcemanager.store.class</name>
102.     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
103.   </property>
105.   <!-- 环境变量的继承 -->
106.   <property>
107.     <name>yarn.nodemanager.env-whitelist</name>
108.     <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
109.   </property>
111.   <!-- YARN 节点管理器将使用 MapReduce Shuffle 作为其辅助服务 -->
112.   <property>
113.     <name>yarn.nodemanager.aux-services</name>
114.     <value>mapreduce_shuffle</value>
115.   </property>
116. </configuration>

复制代码

修改workers

1. master
2. slave1
3. slave2

复制代码

同步配置到节点

1. scp -r /data/soft/hadoop root@slave1:/data/soft
2. scp -r /data/soft/hadoop root@slave2:/data/soft

复制代码

启动集群


启动Zookeeper

启动集群各个节点的Zookeeper服务

1. cd /data/soft/zookeeper/bin
2. ./zkServer.sh start
3. ./zkServer.sh status

复制代码

启动JournalNode

启动集群每个节点监控NameNode的管理日志的JournalNode

1. cd /data/soft/hadoop/sbin
2. hdfs --daemon start journalnode

复制代码

1. [root@master sbin]# jps
2. 33816 Jps
3. 33785 JournalNode
4. 4506 QuorumPeerMain

复制代码

  注意：
启动后需要等待全部的子节点进程全部启动完成，否则格式化目录报错
  
格式化目录

格式化HDFS(仅需实验格式化一次)，在master节点的终端窗口中，实验下面的命令:

1. hdfs namenode -format

复制代码

成功示例

注：假如由于某些缘故原由需要从头重新配置集群，那么在重新格式化HDFS之前，先把各节点Haoop下的dfs目录删除。 这个目录是在hdfs-site.xml文件中本身指定的，其下有两个子目录name和data，重新格式化之前必须删除它们

启动进程，同步元数据信息

在master节点的启动namenode

1. hdfs --daemon start namenode

复制代码

在slave1和slave2上，同步master节点的元数据信息

1. hdfs namenode -bootstrapStandby

复制代码

启动slave1和slave2的namenode进程

1. hdfs --daemon start namenode

复制代码

初始化ZKFC

ZKFC用于监控active namenode节点是否挂掉，通知其它节点上的ZKFC强行杀死本身ZKFC节点上的namenode（防止其假死状态产生集群namenode脑裂的发生），然后推举出其他namenode为active节点。在Master节点实验

1. hdfs zkfc -formatZK

复制代码

主节点上启动HDFS和Yarn

start-dfs.sh会自动启动DFSZKFailoverController

1. start-dfs.sh
2. start-yarn.sh

复制代码

手动在standby上手动启动备份的 resourcemanager

1. yarn-daemon.sh start resourcemanager

复制代码

HA测试


测试访问web界面

1. master:9870
2. slave1:9870
3. slave:9870
5. #yarn集群地址
6. master:8080/cluster

复制代码

集群操作是否正常

1. hdfs dfsadmin -report
2. hadoop fs -mkdir /test01
3. hadoop fs -put workers /test01
4. hadoop fs -ls /test01

复制代码

验证namenode工作状态

namenode主备之间同时只能有一个主对外提供服务即active可以操作，standby不可以操作

验证namenode故障转移

杀死namenode active节点进程

1. jps |grep -i namenode
2. kill 50305
4. #重新启动
5. hdfs --daemon start namenode

复制代码

当前active节点Slave2无法打开，检察节点2，可以看到节点2切换到active

假如未正常切换可以检察节点hadoop-root-zkfc-{node_name}.log日志报错

增补阐明


hadoop脚天职析


start-all.sh

   

• libexec/hadoop-config.sh
  
• start-dfs.sh
  
• start-yarn.sh
  

  
Hadoop脑裂介绍

https://blog.csdn.net/alphonse_10/article/details/135593142

错误解决

NameNode全部为StandBy状态
:::info
集群配置了自动切换需要配置sshfence隔离机制，所以hdfs-site.xml中配置不能少
:::
集群active节点制止后无法自动切换到standby节点
检察hadoop-root-zkfc-{node_name}.log日志发现：
org.apache.hadoop.ha.SshFenceByTcpPort: Unable to create SSH session
com.jcraft.jsch.JSchException: invalid privatekey: [B@1610a65d
:::info
密钥的时候使用的openssh版本过高导致，其天生的密钥类似如下，而jsch版本低，剖析不了高版本的openssh天生的秘钥
:::

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。