Hadoop 3.x高可用集群部署（0基础勿看）

修改服务器主机名

1. vim /etc/hostname

复制代码

配置主机映射（按现实个人ip为准）

1. sudo vim /etc/hosts

复制代码

 追加以下：

1. 192.168.174.201 hadoop01
2. 192.168.174.202 hadoop02
3. 192.168.174.203 hadoop03

复制代码

 SSH无密登录配置

（1）hadoop01上生成公钥和私钥（所有呆板要重复以下操纵）：

1. ssh-keygen -t rsa

复制代码

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）。
（2）将hadoop01公钥拷贝到要免密登录的目标呆板上

1. ssh-copy-id hadoop01

复制代码

1. ssh-copy-id hadoop02

复制代码

1. ssh-copy-id hadoop03

复制代码

编写集群分发脚本xsync

阐明：在/home/hadoop/bin这个目录下存放的脚本，hadoop用户可以在体系任何地方直接执行。
在用的家目录/home/hadoop下创建bin文件夹

1. sudo vim  /home/hadoop/bin/xsync

复制代码

1. #!/bin/bash
3. #1. 判断参数个数
4. if [ $# -lt 1 ]
5. then
6.   echo Not Enough Arguement!
7.   exit;
8. fi
10. #2. 遍历集群所有机器
11. for host in hadoop01 hadoop02 hadoop03
12. do
13.   echo ====================  $host  ====================
14.   #3. 遍历所有目录，挨个发送
15.   for file in $@
16.   do
17.     #4 判断文件是否存在
18.     if [ -e $file ]
19.     then
20.       #5. 获取父目录
21.       pdir=$(cd -P $(dirname $file); pwd)
22.       #6. 获取当前文件的名称
23.       fname=$(basename $file)
24.       ssh $host "mkdir -p $pdir"
25.       rsync -av $pdir/$fname $host:$pdir
26.     else
27.       echo $file does not exists!
28.     fi
29.   done
30. done

复制代码

 授权限

1. sudo chmod 777 xsync

复制代码

编写集群下令批量执行脚本

1. sudo vim  home/hadoop/bin/xcall

复制代码

1. #! /bin/bash
3. for i in hadoop01 hadoop02 hadoop03
4. do
5.     echo --------- $i ----------
6.     ssh $i "$*"
7. done

复制代码

 授权限

1. sudo chmod 777 xcall

复制代码

Java自行安装配置(三个服务器都必要)

 Zookeeper安装

1）集群规划

在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。

	服务器hadoop01	服务器hadoop02	服务器hadoop03
Zookeeper	Zookeeper	Zookeeper	Zookeeper

2）解压安装

（1）解压Zookeeper安装包到/export/service/目录下
[hadoop@hadoop01 software]$ tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /export/service/
（2）修改/export/service/apache-zookeeper-3.7.1-bin名称为zookeeper-3.7.1
[hadoop@hadoop01 module]$ mv apache-zookeeper-3.7.1-bin/ zookeeper
3）配置服务器编号
（1）在/export/service/zookeeper/目录下创建zkData

1. mkdir zkData

复制代码

（2）在/export/service/zookeeper/zkData目录下创建一个myid的文件

1. vim myid

复制代码

添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码
在文件中添加与server对应的编号：hadoop02、hadoop03上为2、3

1. 1

复制代码

4）配置zoo.cfg文件
（1）重命名/export/service/zookeeper/conf目录下的zoo_sample.cfg为zoo.cfg

1. ​​​​​​​mv zoo_sample.cfg zoo.cfg

复制代码

（2）打开zoo.cfg文件

1. ​​​​​​​vim zoo.cfg

复制代码

修改数据存储路径配置

1. dataDir=/export/service/zookeeper/zkData

复制代码

增加如下配置

1. #######################cluster##########################
3. server.1=hadoop01:2888:3888
5. server.2=hadoop02:2888:3888
7. server.3=hadoop03:2888:3888

复制代码

（3）同步/export/service/zookeeper目录内容到hadoop02、hadoop03

1. ​​​​​​​xsync /export/service/zookeeper/

复制代码

（4）zoo.cfg配置参数解读
server.A=B:C。
A是一个数字，表示这个是第几号服务器；
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
B是这个服务器的地点；
C是这个服务器Follower与集群中的Leader服务器互换信息的端口；
D是万一集群中的Leader服务器挂了，必要一个端口来重新举行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通讯的端口。
5）集群操纵
（1）分别hadoop01、hadoop02、hadoop03启动Zookeeper

1. bin/zkServer.sh start

复制代码

（2）查看状态

1. bin/zkServer.sh status

复制代码

ZK集群启动克制脚本zh.sh 

1. vim /home/hadoop/bin/zk.sh

复制代码

1. #!/bin/bash
3. case $1 in
4. "start"){
5.         for i in hadoop01 hadoop02 hadoop03
6.         do
7.         echo ---------- zookeeper $i 启动 ------------
8.                 ssh $i "/export/service/zookeeper/bin/zkServer.sh start"
9.         done
10. };;
11. "stop"){
12.         for i in hadoop01 hadoop02 hadoop03
13.         do
14.         echo ---------- zookeeper $i 停止 ------------   
15.                 ssh $i "/export/service/zookeeper/bin/zkServer.sh stop"
16.         done
17. };;
18. "status"){
19.         for i in hadoop01 hadoop02 hadoop03
20.         do
21.         echo ---------- zookeeper $i 状态 ------------   
22.                 ssh $i "/export/service/zookeeper/bin/zkServer.sh status"
23.         done
24. };;
25. esac

复制代码

授权限

1. sudo chmod 777 zh.sh

复制代码

配置Hadoop

安装包安装及环境变量自行配置
core-site.xml配置文件

1. <configuration>
2.     <!-- 默认文件系统设置，指定HDFS集群的地址 -->
3.     <property>
4.       <name>fs.defaultFS</name>
5.       <value>hdfs://mycluster</value>
6.     </property>
7.        
8.     <!-- Hadoop临时文件目录设置，指定临时文件存放的位置 -->
9.     <property>
10.       <name>hadoop.tmp.dir</name>
11.       <value>/export/service/tmp</value>
12.     </property>
14.     <!-- 文件缓冲区大小设置，单位为字节，控制I/O操作时的缓存大小 -->
15.     <property>
16.       <name>io.file.buffer.size</name>
17.       <value>4096</value>
18.     </property>
19.    
20.     <!-- HDFS高可用性配置，指定ZooKeeper集群地址，用于监控NameNode的状态 -->
21.     <property>
22.       <name>ha.zookeeper.quorum</name>
23.       <value>zookeeper01:2181,zookeeper02:2181,zookeeper03:2181</value>
24.     </property>
25. </configuration>

复制代码

 mapred-site.xml配置文件

1. <configuration>
2.     <!-- 设置MapReduce框架为YARN -->
3.     <property>
4.       <name>mapreduce.framework.name</name>
5.       <value>yarn</value>
6.     </property>
8.     <!-- 设置MapReduce作业历史服务器的地址 -->
9.     <property>
10.       <name>mapreduce.jobhistory.address</name>
11.       <value>0.0.0.0:10020</value>
12.     </property>
14.     <!-- 设置MapReduce作业历史的Web应用访问地址 -->
15.     <property>
16.       <name>mapreduce.jobhistory.webapp.address</name>
17.       <value>0.0.0.0:19888</value>
18.     </property>
19. </configuration>

复制代码

hdfs-site.xml配置文件

1. <configuration>
2.     <!-- 配置HDFS集群名称 -->
3.     <property>
4.       <name>dfs.nameservices</name>
5.       <value>mycluster</value>
6.     </property>
7.        
8.     <!-- 配置HDFS集群中NameNode的高可用性节点 -->
9.     <property>
10.       <name>dfs.ha.namenodes.mycluster</name>
11.       <value>nn1,nn2,nn3</value>
12.     </property>
13.        
14.     <!-- 配置每个NameNode的RPC地址，用于客户端与NameNode通信 -->
15.     <property>
16.       <name>dfs.namenode.rpc-address.mycluster.nn1</name>
17.       <value>hadoop01:8020</value>
18.     </property>
19.     <property>
20.       <name>dfs.namenode.rpc-address.mycluster.nn2</name>
21.       <value>hadoop02:8020</value>
22.     </property>
23.     <property>
24.       <name>dfs.namenode.rpc-address.mycluster.nn3</name>
25.       <value>hadoop03:8020</value>
26.     </property>       
27.        
28.     <!-- 配置每个NameNode的HTTP地址，用于浏览器访问Web界面 -->
29.     <property>
30.       <name>dfs.namenode.http-address.mycluster.nn1</name>
31.       <value>hadoop01:9870</value>
32.     </property>
33.     <property>
34.       <name>dfs.namenode.http-address.mycluster.nn2</name>
35.       <value>hadoop02:9870</value>
36.     </property>
37.     <property>
38.       <name>dfs.namenode.http-address.mycluster.nn3</name>
39.       <value>hadoop03:9870</value>
40.     </property>       
41.        
42.     <!-- 配置HDFS的数据块复制因子 -->
43.     <property>
44.       <name>dfs.replication</name>
45.       <value>3</value>
46.     </property>
47.    
48.     <!-- 配置HDFS数据块大小，单位为字节，这里是128MB -->
49.     <property>
50.       <name>dfs.blocksize</name>
51.       <value>134217728</value>
52.     </property>
53.        
54.     <!-- 配置NameNode存储目录 -->
55.     <property>
56.       <name>dfs.namenode.name.dir</name>
57.       <value>file://${hadoop.tmp.dir}/dfs/name</value>
58.     </property>
60.     <!-- 配置DataNode存储目录 -->
61.     <property>
62.       <name>dfs.datanode.data.dir</name>
63.       <value>file://${hadoop.tmp.dir}/dfs/data</value>
64.     </property>
66.     <!-- 配置共享编辑日志存储目录，用于NameNode高可用性 -->
67.     <property>
68.       <name>dfs.namenode.shared.edits.dir</name>
69.       <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/mycluster</value>
70.     </property>
72.     <!-- 配置JournalNode的日志存储目录 -->
73.     <property>
74.       <name>dfs.journalnode.edits.dir</name>
75.       <value>/export/service/hadoop/tmp/dfs/journal</value>
76.     </property>
77.    
78.     <!-- 配置NameNode高可用性时的客户端代理提供者 -->
79.     <property>
80.       <name>dfs.client.failover.proxy.provider.mycluster</name>
81.       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
82.     </property>
83.        
84.     <!-- 启用HDFS的自动故障转移功能 -->
85.     <property>
86.       <name>dfs.ha.automatic-failover.enabled</name>
87.       <value>true</value>
88.     </property>
89.    
90.     <!-- 配置故障转移时的屏蔽方法，这里使用sshfence -->
91.     <property>
92.       <name>dfs.ha.fencing.methods</name>
93.       <value>sshfence</value>
94.     </property>
96.     <!-- 配置用于SSH屏蔽的私钥文件 -->
97.     <property>
98.       <name>dfs.ha.fencing.ssh.private-key-files</name>
99.       <value>/root/.ssh/id_rsa</value>
100.     </property>
102.     <!-- 配置SSH连接的超时时间，单位为毫秒 -->
103.     <property>
104.       <name>dfs.ha.fencing.ssh.connect-timeout</name>
105.       <value>30000</value>
106.     </property>
107. </configuration>

复制代码

yarn-site.xml配置文件

1. <configuration>
2.     <!-- 启用ResourceManager高可用性 -->
3.     <property>
4.       <name>yarn.resourcemanager.ha.enabled</name>
5.       <value>true</value>
6.     </property>
8.     <!-- 设置YARN集群的ID，用于标识集群 -->
9.     <property>
10.       <name>yarn.resourcemanager.cluster-id</name>
11.       <value>cluster1</value>
12.     </property>
14.     <!-- 启用ResourceManager的恢复功能 -->
15.     <property>
16.       <name>yarn.resourcemanager.recovery.enabled</name>
17.       <value>true</value>
18.     </property>
20.     <!-- 配置ResourceManager状态存储方式，这里使用ZooKeeper作为存储后端 -->
21.     <property>
22.       <name>yarn.resourcemanager.store.class</name>
23.       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
24.     </property>
25.        
26.     <!-- 配置高可用性模式下的ResourceManager实例ID -->
27.     <property>
28.       <name>yarn.resourcemanager.ha.rm-ids</name>
29.       <value>rm1,rm2,rm3</value>
30.     </property>
32.     <!-- 配置第一个ResourceManager的主机名 -->
33.     <property>
34.       <name>yarn.resourcemanager.hostname.rm1</name>
35.       <value>hadoop01</value>
36.     </property>
38.     <!-- 配置第二个ResourceManager的主机名 -->
39.     <property>
40.       <name>yarn.resourcemanager.hostname.rm2</name>
41.       <value>hadoop02</value>
42.     </property>
44.     <!-- 配置第三个ResourceManager的主机名 -->
45.     <property>
46.       <name>yarn.resourcemanager.hostname.rm3</name>
47.       <value>hadoop03</value>
48.     </property>
50.     <!-- 配置第一个ResourceManager的Web应用访问地址 -->
51.     <property>
52.       <name>yarn.resourcemanager.webapp.address.rm1</name>
53.       <value>hadoop01:8088</value>
54.     </property>
56.     <!-- 配置第二个ResourceManager的Web应用访问地址 -->
57.     <property>
58.       <name>yarn.resourcemanager.webapp.address.rm2</name>
59.       <value>hadoop02:8088</value>
60.     </property>
62.     <!-- 配置第三个ResourceManager的Web应用访问地址 -->
63.     <property>
64.       <name>yarn.resourcemanager.webapp.address.rm3</name>
65.       <value>hadoop03:8088</value>
66.     </property>
68.     <!-- 配置ZooKeeper的地址，用于YARN的高可用性和状态存储 -->
69.     <property>
70.       <name>hadoop.zk.address</name>
71.       <value>zookeeper01:2181,zookeeper02:2181,zookeeper03:2181</value>
72.     </property>
74.     <!-- 启用YARN NodeManager的附加服务 -->
75.     <property>
76.       <name>yarn.nodemanager.aux-services</name>
77.       <value>mapreduce_shuffle</value>
78.     </property>
80.     <!-- 配置YARN NodeManager的附加服务类，这里是MapReduce的Shuffle服务 -->
81.     <property>
82.       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
83.       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
84.     </property>
85.        
86.     <!-- 启用YARN日志聚合功能 -->
87.     <property>
88.       <name>yarn.log-aggregation-enable</name>
89.       <value>true</value>
90.     </property>
92.     <!-- 配置日志聚合保留时间，单位为秒，这里设置为7天 -->
93.     <property>
94.       <name>yarn.log-aggregation.retain-seconds</name>
95.       <value>604800</value>
96.     </property>       
97. </configuration>

复制代码

workers配置文件

1. vim /export/service/etc/hadoop/workers
2. hadoop01
3. hadoop02
4. hadoop03

复制代码

分发到其他服务器

1. scp /export/service/hadoop/etc/hadoop/* hadoop02:/export/service/hadoop/etc/hadoop/
2. scp /export/service/hadoop/etc/hadoop/* hadoop03:/export/service/hadoop/etc/hadoop/

复制代码

启动hadoop服务

1、初始化zookeeper（任意节点）

1. hdfs zkfc -formatZK

复制代码

验证zkfc是否格式化乐成

1. # zkCli.sh
3. [zk: localhost:2181(CONNECTED) 0] ls /hadoop-ha
4. [mycluster]

复制代码

2、启动journalnode

在hadoop01、hadoop02及hadoop03节点启动journalnode

1. hdfs --daemon start journalnode

复制代码

补充：若在Hadoop启动过程找不到JAVA_HOME就到/export/service/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件手工配置JAVA_HOME

1. export JAVA_HOME='/export/service/jdk-1.8.0'

复制代码

3、启动namenode

hadoop01格式化namenode

1. hdfs namenode -format

复制代码

 若journalnode正常启动，namenode格式出现问题，大概率是文件夹/export/service/hadoop-3.3.4/tmp权限不足，因此必要给这个文件夹授权

1. sudo chmod -R 777 /export/service/hadoop-3.3.4/tmp

复制代码

在hadoop01启动namenode

1. hdfs --daemon start namenode

复制代码

将hadoop01节点上namenode的数据同步到其他nameNode节点，在hadoop02、hadoop03节点执行：

1. hdfs namenode -bootstrapStandby

复制代码

欣赏器访问NameNode,当前所有NameNode都是standby状态：

1. http://192.168.174.201:9870/
2. http://192.168.174.202:9870/
3. http://192.168.174.203:9870/

复制代码

4、启动所有其他服务，包括zkfc

1. start-all.sh

复制代码

编写hadoop一键启动脚本

1. sudo vim /home/hadoop/bin/hdp.sh

复制代码

1. #!/bin/bash
2. if [ $# -lt 1 ]
3. then
4.     echo "No Args Input..."
5.     exit ;
6. fi
7. case $1 in
8. "start")
9.         echo " =================== 启动 hadoop集群 ==================="
11.         echo " --------------- 启动 hdfs ---------------"
12.         ssh hadoop01 "/export/service/hadoop-3.3.4/sbin/start-dfs.sh"
13.         echo " --------------- 启动 yarn ---------------"
14.         ssh hadoop02 "/export/service/hadoop-3.3.4/sbin/start-yarn.sh"
15.         echo " --------------- 启动 historyserver ---------------"
16.         ssh hadoop03 "/export/service/hadoop-3.3.4/bin/mapred --daemon start historyserver"
17. ;;
18. "stop")
19.         echo " =================== 关闭 hadoop集群 ==================="
21.         echo " --------------- 关闭 historyserver ---------------"
22.         ssh hadoop01 "/export/service/hadoop-3.3.4/bin/mapred --daemon stop historyserver"
23.         echo " --------------- 关闭 yarn ---------------"
24.         ssh hadoop02 "/export/service/hadoop-3.3.4/sbin/stop-yarn.sh"
25.         echo " --------------- 关闭 hdfs ---------------"
26.         ssh hadoop03 "/export/service/hadoop-3.3.4/sbin/stop-dfs.sh"
27. ;;
28. *)
29.     echo "Input Args Error..."
30. ;;
31. esac
32. xcall jps

复制代码

授权限

1. sudo chmod 777 hdp.sh

复制代码

！！注意 关机之前必须要关闭hadoop，否则namenode和datanode在下次启动大概率会出现故障



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。