Hadoop的HA配置与实现（ZooKeeper）

一、Hadoop的HA架构

集群规划
112：NameNode1 ResourceManager1 JournalNode1
113：NameNode2 ResourceManager2 JournalNode2
114：DataNode1 NodeManager1
115：DataNode2 NodeManager2
二、配置实现Hadoop的HA

• 主机配置
  bigdata112，bigdata113配置好Hadoop环境变量（作为NameNode）
  
• 配置bigdata112的hadoop
  core-site.xml
  

1. <property>
2.   <name>fs.defaultFS</name>
3.   <value>hdfs://ns1</value>
4. </property>
5. <property>
6.   <name>hadoop.tmp.dir</name>
7.   <value>/root/training/hadoop-2.7.3/tmp</value>
8. </property>
9. <property>
10.   <name>ha.zookeeper.quorum</name>
11.   <value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
12. </property>

复制代码

  

• fs.defaultFS:
  这个属性设置了Hadoop文件系统的默认URI。在这个例子中，它被设置为hdfs://ns1，这意味着Hadoop客户端将默认使用HDFS协议与逻辑名称（namespace）为ns1的HDFS集群进行交互。这通常用于配置了HDFS高可用性（HA）的集群，其中ns1是在hdfs-site.xml中通过dfs.nameservices属性界说的HDFS集群的逻辑名称。
  
• hadoop.tmp.dir:
  这个属性指定了Hadoop暂时文件的存储位置。在这个例子中，它被设置为/root/training/hadoop-2.7.3/tmp。Hadoop会在这个目次下创建一些暂时文件，这些文件通常用于MapReduce作业的执行、HDFS的元数据检查点等。将hadoop.tmp.dir设置在一个有充足磁盘空间的位置是很紧张的。
  
• ha.zookeeper.quorum:
  这个属性指定了ZooKeeper集群的地址列表，用于HDFS高可用性（HA）配置中的故障转移和状态管理。在这个例子中，它包含了三个ZooKeeper节点的地址：bigdata112:2181,bigdata113:2181,bigdata114:2181。每个ZooKeeper节点的端口都是默认的2181。ZooKeeper集群用于和谐HDFS NameNode之间的状态，确保在Active NameNode发生故障时，可以大概平滑地切换到Standby NameNode。
  

  hdfs-site.xml

1. <property>
2.   <name>dfs.nameservices</name>
3.   <value>ns1</value>
4. </property>
6. <property>
7.   <name>dfs.ha.namenodes.ns1</name>
8.   <value>nn1,nn2</value>
9. </property>
12. <property>
13.   <name>dfs.namenode.rpc-address.ns1.nn1</name>
14.   <value>bigdata112:9000</value>
15. </property>
16. <property>
17.   <name>dfs.namenode.http-address.ns1.nn1</name>
18.   <value>bigdata112:50070</value>
19. </property>
21. <property>
22.   <name>dfs.namenode.rpc-address.ns1.nn2</name>
23.   <value>bigdata113:9000</value>
24. </property>
25. <property>
26.   <name>dfs.namenode.http-address.ns1.nn2</name>
27.   <value>bigdata113:50070</value>
28. </property>
30. <property>
31.   <name>dfs.namenode.shared.edits.dir</name>
32.   <value>qjournal://bigdata112:8485;bigdata113:8485;/ns1</value>
33. </property>
34. <property>
35.   <name>dfs.journalnode.edits.dir</name>
36.   <value>/root/training/hadoop-2.7.3/journal</value>
37. </property>
38. <property>
39.   <name>dfs.ha.automatic-failover.enabled</name>
40.   <value>true</value>
41. </property>
42. <property>
43.   <name>dfs.client.failover.proxy.provider.ns1</name>
44.   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
45. </property>
47. <property>
48.   <name>dfs.ha.fencing.methods</name>
49.   <value>
50. sshfence
51. shell(/bin/true)
52. </value>
53. </property>
55. <property>
56.   <name>dfs.ha.fencing.ssh.private-key-files</name>
57.   <value>/root/.ssh/id_rsa</value>
58. </property>
61. <property>
62.   <name>dfs.ha.fencing.ssh.connect-timeout</name>
63.   <value>30000</value>
64. </property>

复制代码

  

• HDFS逻辑名称和NameNode配置：
  dfs.nameservices：界说了HDFS集群的逻辑名称，这里是ns1。
  dfs.ha.namenodes.ns1：指定了ns1集群中所有的NameNode名称，即nn1和nn2。
  dfs.namenode.rpc-address.和dfs.namenode.http-address.：分别配置了nn1和nn2的RPC地址和HTTP地址。RPC地址用于NameNode之间的通信，HTTP地址用于通过浏览器访问NameNode的Web界面。
  JournalNode配置：
  dfs.namenode.shared.edits.dir：配置了NameNode之间共享的edits日志目次，这里使用了Quorum Journal Manager（QJM），并指定了JournalNode的地址和集群ID（/ns1）。
  dfs.journalnode.edits.dir：指定了JournalNode存储edits日志的本地目次。
  
• 高可用性配置：
  dfs.ha.automatic-failover.enabled：启用了主动故障转移功能。
  dfs.client.failover.proxy.provider.ns1：指定了客户端使用的故障转移代理提供者，这里是Hadoop自带的ConfiguredFailoverProxyProvider。
  
• 故障隔离（Fencing）配置：
  dfs.ha.fencing.methods：界说了故障转移时的隔离方法，这里使用了sshfence（通过SSH杀死NameNode进程）和shell(/bin/true)（一个总是返回成功的下令，通常用于测试）。
  dfs.ha.fencing.ssh.private-key-files：指定了SSH隔离方法所使用的私钥文件路径。
  dfs.ha.fencing.ssh.connect-timeout：设置了SSH连接的超时时间，单位是毫秒。
  

  mapred-site.xml

1. <property>
2.   <name>mapreduce.framework.name</name>
3.   <value>yarn</value>
4. </property>

复制代码

yarn-site.xml

1. <property>
2.   <name>yarn.resourcemanager.ha.enabled</name>
3.   <value>true</value>
4. </property>
5. <property>
6.   <name>yarn.resourcemanager.cluster-id</name>
7.   <value>yrc</value>
8. </property>
9. <property>
10.   <name>yarn.resourcemanager.ha.rm-ids</name>
11.   <value>rm1,rm2</value>
12. </property>
13. <property>
14.   <name>yarn.resourcemanager.hostname.rm1</name>
15.   <value>bigdata112</value>
16. </property>
17. <property>
18.   <name>yarn.resourcemanager.hostname.rm2</name>
19.   <value>bigdata113</value>
20. </property>
21. <property>
22.   <name>yarn.resourcemanager.zk-address</name>
23.   <value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
24. </property>
25. <property>
26.   <name>yarn.nodemanager.aux-services</name>
27.   <value>mapreduce_shuffle</value>
28. </property>

复制代码

  

• 启用YARN ResourceManager的HA：通过设置yarn.resourcemanager.ha.enabled为true，启用了YARN ResourceManager的高可用性模式。这意味着集群中有多个ResourceManager实例在运行，其中一个是Active状态，其余是Standby状态。
  
• 集群ID：yarn.resourcemanager.cluster-id被设置为yrc，这是YARN集群的唯一标识符，用于区分差异的YARN集群。
  
• ResourceManager实例ID：yarn.resourcemanager.ha.rm-ids列出了所有ResourceManager实例的ID，这里是rm1和rm2。这些ID用于在配置中引用特定的ResourceManager实例。
  
• ResourceManager主机名：通过yarn.resourcemanager.hostname.rm1和yarn.resourcemanager.hostname.rm2，分别指定了rm1和rm2实例运行的主机名，即bigdata112和bigdata113。
  
• ZooKeeper地址：yarn.resourcemanager.zk-address配置了ZooKeeper集群的地址，ResourceManager使用ZooKeeper来和谐状态信息，确保在高可用性模式下的正确故障转移。这里的ZooKeeper集群由bigdata112、bigdata113和bigdata114构成，每个节点的端口都是默认的2181。
  
• NodeManager辅助服务：yarn.nodemanager.aux-services配置了NodeManager提供的辅助服务，这里设置为mapreduce_shuffle，这是MapReduce作业执行期间所必须的，用于shuffle阶段的数据传输。
  

  

• 修改slaves
  在bigdata112的slaves文件中，增长从节点（114，115）
  
• 设置Java环境
  hadoop-env.sh中设置本地的Javahome路径
  
• 创建目次tmp和journal
  在上述配置中已经表现
  
• 将hadoop目次复制给113，114，115
  
• 在112和113上启动journalnode
  

1. hadoop-daemon.sh start journalnode

复制代码

• 在112上格式化HDFS
  

1. hdfs namenode -format

复制代码

将112的tmp目次复制到113上（113为备用的主节点）

• 在112上格式化zookeeper
  

1. hdfs zkfc -formatZK

复制代码

• 在112上启动Hadoop集群
  

1. start-dfs.sh
2. start-yarn.sh

复制代码

• 113上手动启动resourcemanager
  

1. yarn-daemon.sh start resourcemanager

复制代码

三、效果

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。