IT评测·应用市场-qidao123.com

标题: Hadoop 3.x高可用集群部署（0基础勿看） [打印本页]
作者: 没腿的鸟    时间: 2025-3-13 19:25
标题: Hadoop 3.x高可用集群部署（0基础勿看）
修改服务器主机名

  1. vim /etc/hostname
复制代码
配置主机映射（按现实个人ip为准）

  1. sudo vim /etc/hosts
复制代码
 追加以下：
  1. 192.168.174.201 hadoop01
  2. 192.168.174.202 hadoop02
  3. 192.168.174.203 hadoop03
复制代码
 SSH无密登录配置

（1）hadoop01上生成公钥和私钥（所有呆板要重复以下操纵）：
  1. ssh-keygen -t rsa
复制代码
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）。
（2）将hadoop01公钥拷贝到要免密登录的目标呆板上
  1. ssh-copy-id hadoop01
复制代码
  1. ssh-copy-id hadoop02
复制代码
  1. ssh-copy-id hadoop03
复制代码
编写集群分发脚本xsync

阐明：在/home/hadoop/bin这个目录下存放的脚本，hadoop用户可以在体系任何地方直接执行。
在用的家目录/home/hadoop下创建bin文件夹
  1. sudo vim  /home/hadoop/bin/xsync
复制代码
  1. #!/bin/bash
  3. #1. 判断参数个数
  4. if [ $# -lt 1 ]
  5. then
  6.   echo Not Enough Arguement!
  7.   exit;
  8. fi
  10. #2. 遍历集群所有机器
  11. for host in hadoop01 hadoop02 hadoop03
  12. do
  13.   echo ====================  $host  ====================
  14.   #3. 遍历所有目录，挨个发送
  15.   for file in $@
  16.   do
  17.     #4 判断文件是否存在
  18.     if [ -e $file ]
  19.     then
  20.       #5. 获取父目录
  21.       pdir=$(cd -P $(dirname $file); pwd)
  22.       #6. 获取当前文件的名称
  23.       fname=$(basename $file)
  24.       ssh $host "mkdir -p $pdir"
  25.       rsync -av $pdir/$fname $host:$pdir
  26.     else
  27.       echo $file does not exists!
  28.     fi
  29.   done
  30. done
复制代码
 授权限
  1. sudo chmod 777 xsync
复制代码
编写集群下令批量执行脚本

  1. sudo vim  home/hadoop/bin/xcall
复制代码
  1. #! /bin/bash
  3. for i in hadoop01 hadoop02 hadoop03
  4. do
  5.     echo --------- $i ----------
  6.     ssh $i "$*"
  7. done
复制代码
 授权限
  1. sudo chmod 777 xcall
复制代码
Java自行安装配置(三个服务器都必要)

 Zookeeper安装

1）集群规划

在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。

 服务器hadoop01
 服务器hadoop02
 服务器hadoop03
Zookeeper
 Zookeeper
 Zookeeper
 Zookeeper
2）解压安装

（1）解压Zookeeper安装包到/export/service/目录下
[hadoop@hadoop01 software]$ tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /export/service/
（2）修改/export/service/apache-zookeeper-3.7.1-bin名称为zookeeper-3.7.1
[hadoop@hadoop01 module]$ mv apache-zookeeper-3.7.1-bin/ zookeeper
3）配置服务器编号
（1）在/export/service/zookeeper/目录下创建zkData
  1. mkdir zkData
复制代码
（2）在/export/service/zookeeper/zkData目录下创建一个myid的文件
  1. vim myid
复制代码
添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码
在文件中添加与server对应的编号：hadoop02、hadoop03上为2、3
  1. 1
复制代码
4）配置zoo.cfg文件
（1）重命名/export/service/zookeeper/conf目录下的zoo_sample.cfg为zoo.cfg
  1. ​​​​​​​mv zoo_sample.cfg zoo.cfg
复制代码
（2）打开zoo.cfg文件
  1. ​​​​​​​vim zoo.cfg
复制代码
修改数据存储路径配置
  1. dataDir=/export/service/zookeeper/zkData
复制代码
增加如下配置
  1. #######################cluster##########################
  3. server.1=hadoop01:2888:3888
  5. server.2=hadoop02:2888:3888
  7. server.3=hadoop03:2888:3888
复制代码
（3）同步/export/service/zookeeper目录内容到hadoop02、hadoop03
  1. ​​​​​​​xsync /export/service/zookeeper/
复制代码
（4）zoo.cfg配置参数解读
server.A=B:C。
A是一个数字，表示这个是第几号服务器；
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
B是这个服务器的地点；
C是这个服务器Follower与集群中的Leader服务器互换信息的端口；
D是万一集群中的Leader服务器挂了，必要一个端口来重新举行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通讯的端口。
5）集群操纵
（1）分别hadoop01、hadoop02、hadoop03启动Zookeeper
  1. bin/zkServer.sh start
复制代码
（2）查看状态
  1. bin/zkServer.sh status
复制代码
ZK集群启动克制脚本zh.sh 
  1. vim /home/hadoop/bin/zk.sh
复制代码
  1. #!/bin/bash
  3. case $1 in
  4. "start"){
  5.         for i in hadoop01 hadoop02 hadoop03
  6.         do
  7.         echo ---------- zookeeper $i 启动 ------------
  8.                 ssh $i "/export/service/zookeeper/bin/zkServer.sh start"
  9.         done
  10. };;
  11. "stop"){
  12.         for i in hadoop01 hadoop02 hadoop03
  13.         do
  14.         echo ---------- zookeeper $i 停止 ------------   
  15.                 ssh $i "/export/service/zookeeper/bin/zkServer.sh stop"
  16.         done
  17. };;
  18. "status"){
  19.         for i in hadoop01 hadoop02 hadoop03
  20.         do
  21.         echo ---------- zookeeper $i 状态 ------------   
  22.                 ssh $i "/export/service/zookeeper/bin/zkServer.sh status"
  23.         done
  24. };;
  25. esac
复制代码
授权限

  1. sudo chmod 777 zh.sh
复制代码
配置Hadoop

安装包安装及环境变量自行配置
core-site.xml配置文件

  1. <configuration>
  2.     <!-- 默认文件系统设置，指定HDFS集群的地址 -->
  3.     <property>
  4.       <name>fs.defaultFS</name>
  5.       <value>hdfs://mycluster</value>
  6.     </property>
  7.        
  8.     <!-- Hadoop临时文件目录设置，指定临时文件存放的位置 -->
  9.     <property>
  10.       <name>hadoop.tmp.dir</name>
  11.       <value>/export/service/tmp</value>
  12.     </property>
  14.     <!-- 文件缓冲区大小设置，单位为字节，控制I/O操作时的缓存大小 -->
  15.     <property>
  16.       <name>io.file.buffer.size</name>
  17.       <value>4096</value>
  18.     </property>
  19.    
  20.     <!-- HDFS高可用性配置，指定ZooKeeper集群地址，用于监控NameNode的状态 -->
  21.     <property>
  22.       <name>ha.zookeeper.quorum</name>
  23.       <value>zookeeper01:2181,zookeeper02:2181,zookeeper03:2181</value>
  24.     </property>
  25. </configuration>
复制代码
 mapred-site.xml配置文件

  1. <configuration>
  2.     <!-- 设置MapReduce框架为YARN -->
  3.     <property>
  4.       <name>mapreduce.framework.name</name>
  5.       <value>yarn</value>
  6.     </property>
  8.     <!-- 设置MapReduce作业历史服务器的地址 -->
  9.     <property>
  10.       <name>mapreduce.jobhistory.address</name>
  11.       <value>0.0.0.0:10020</value>
  12.     </property>
  14.     <!-- 设置MapReduce作业历史的Web应用访问地址 -->
  15.     <property>
  16.       <name>mapreduce.jobhistory.webapp.address</name>
  17.       <value>0.0.0.0:19888</value>
  18.     </property>
  19. </configuration>
复制代码
hdfs-site.xml配置文件

  1. <configuration>
  2.     <!-- 配置HDFS集群名称 -->
  3.     <property>
  4.       <name>dfs.nameservices</name>
  5.       <value>mycluster</value>
  6.     </property>
  7.        
  8.     <!-- 配置HDFS集群中NameNode的高可用性节点 -->
  9.     <property>
  10.       <name>dfs.ha.namenodes.mycluster</name>
  11.       <value>nn1,nn2,nn3</value>
  12.     </property>
  13.        
  14.     <!-- 配置每个NameNode的RPC地址，用于客户端与NameNode通信 -->
  15.     <property>
  16.       <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  17.       <value>hadoop01:8020</value>
  18.     </property>
  19.     <property>
  20.       <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  21.       <value>hadoop02:8020</value>
  22.     </property>
  23.     <property>
  24.       <name>dfs.namenode.rpc-address.mycluster.nn3</name>
  25.       <value>hadoop03:8020</value>
  26.     </property>       
  27.        
  28.     <!-- 配置每个NameNode的HTTP地址，用于浏览器访问Web界面 -->
  29.     <property>
  30.       <name>dfs.namenode.http-address.mycluster.nn1</name>
  31.       <value>hadoop01:9870</value>
  32.     </property>
  33.     <property>
  34.       <name>dfs.namenode.http-address.mycluster.nn2</name>
  35.       <value>hadoop02:9870</value>
  36.     </property>
  37.     <property>
  38.       <name>dfs.namenode.http-address.mycluster.nn3</name>
  39.       <value>hadoop03:9870</value>
  40.     </property>       
  41.        
  42.     <!-- 配置HDFS的数据块复制因子 -->
  43.     <property>
  44.       <name>dfs.replication</name>
  45.       <value>3</value>
  46.     </property>
  47.    
  48.     <!-- 配置HDFS数据块大小，单位为字节，这里是128MB -->
  49.     <property>
  50.       <name>dfs.blocksize</name>
  51.       <value>134217728</value>
  52.     </property>
  53.        
  54.     <!-- 配置NameNode存储目录 -->
  55.     <property>
  56.       <name>dfs.namenode.name.dir</name>
  57.       <value>file://${hadoop.tmp.dir}/dfs/name</value>
  58.     </property>
  60.     <!-- 配置DataNode存储目录 -->
  61.     <property>
  62.       <name>dfs.datanode.data.dir</name>
  63.       <value>file://${hadoop.tmp.dir}/dfs/data</value>
  64.     </property>
  66.     <!-- 配置共享编辑日志存储目录，用于NameNode高可用性 -->
  67.     <property>
  68.       <name>dfs.namenode.shared.edits.dir</name>
  69.       <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/mycluster</value>
  70.     </property>
  72.     <!-- 配置JournalNode的日志存储目录 -->
  73.     <property>
  74.       <name>dfs.journalnode.edits.dir</name>
  75.       <value>/export/service/hadoop/tmp/dfs/journal</value>
  76.     </property>
  77.    
  78.     <!-- 配置NameNode高可用性时的客户端代理提供者 -->
  79.     <property>
  80.       <name>dfs.client.failover.proxy.provider.mycluster</name>
  81.       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  82.     </property>
  83.        
  84.     <!-- 启用HDFS的自动故障转移功能 -->
  85.     <property>
  86.       <name>dfs.ha.automatic-failover.enabled</name>
  87.       <value>true</value>
  88.     </property>
  89.    
  90.     <!-- 配置故障转移时的屏蔽方法，这里使用sshfence -->
  91.     <property>
  92.       <name>dfs.ha.fencing.methods</name>
  93.       <value>sshfence</value>
  94.     </property>
  96.     <!-- 配置用于SSH屏蔽的私钥文件 -->
  97.     <property>
  98.       <name>dfs.ha.fencing.ssh.private-key-files</name>
  99.       <value>/root/.ssh/id_rsa</value>
  100.     </property>
  102.     <!-- 配置SSH连接的超时时间，单位为毫秒 -->
  103.     <property>
  104.       <name>dfs.ha.fencing.ssh.connect-timeout</name>
  105.       <value>30000</value>
  106.     </property>
  107. </configuration>
复制代码
yarn-site.xml配置文件

  1. <configuration>
  2.     <!-- 启用ResourceManager高可用性 -->
  3.     <property>
  4.       <name>yarn.resourcemanager.ha.enabled</name>
  5.       <value>true</value>
  6.     </property>
  8.     <!-- 设置YARN集群的ID，用于标识集群 -->
  9.     <property>
  10.       <name>yarn.resourcemanager.cluster-id</name>
  11.       <value>cluster1</value>
  12.     </property>
  14.     <!-- 启用ResourceManager的恢复功能 -->
  15.     <property>
  16.       <name>yarn.resourcemanager.recovery.enabled</name>
  17.       <value>true</value>
  18.     </property>
  20.     <!-- 配置ResourceManager状态存储方式，这里使用ZooKeeper作为存储后端 -->
  21.     <property>
  22.       <name>yarn.resourcemanager.store.class</name>
  23.       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  24.     </property>
  25.        
  26.     <!-- 配置高可用性模式下的ResourceManager实例ID -->
  27.     <property>
  28.       <name>yarn.resourcemanager.ha.rm-ids</name>
  29.       <value>rm1,rm2,rm3</value>
  30.     </property>
  32.     <!-- 配置第一个ResourceManager的主机名 -->
  33.     <property>
  34.       <name>yarn.resourcemanager.hostname.rm1</name>
  35.       <value>hadoop01</value>
  36.     </property>
  38.     <!-- 配置第二个ResourceManager的主机名 -->
  39.     <property>
  40.       <name>yarn.resourcemanager.hostname.rm2</name>
  41.       <value>hadoop02</value>
  42.     </property>
  44.     <!-- 配置第三个ResourceManager的主机名 -->
  45.     <property>
  46.       <name>yarn.resourcemanager.hostname.rm3</name>
  47.       <value>hadoop03</value>
  48.     </property>
  50.     <!-- 配置第一个ResourceManager的Web应用访问地址 -->
  51.     <property>
  52.       <name>yarn.resourcemanager.webapp.address.rm1</name>
  53.       <value>hadoop01:8088</value>
  54.     </property>
  56.     <!-- 配置第二个ResourceManager的Web应用访问地址 -->
  57.     <property>
  58.       <name>yarn.resourcemanager.webapp.address.rm2</name>
  59.       <value>hadoop02:8088</value>
  60.     </property>
  62.     <!-- 配置第三个ResourceManager的Web应用访问地址 -->
  63.     <property>
  64.       <name>yarn.resourcemanager.webapp.address.rm3</name>
  65.       <value>hadoop03:8088</value>
  66.     </property>
  68.     <!-- 配置ZooKeeper的地址，用于YARN的高可用性和状态存储 -->
  69.     <property>
  70.       <name>hadoop.zk.address</name>
  71.       <value>zookeeper01:2181,zookeeper02:2181,zookeeper03:2181</value>
  72.     </property>
  74.     <!-- 启用YARN NodeManager的附加服务 -->
  75.     <property>
  76.       <name>yarn.nodemanager.aux-services</name>
  77.       <value>mapreduce_shuffle</value>
  78.     </property>
  80.     <!-- 配置YARN NodeManager的附加服务类，这里是MapReduce的Shuffle服务 -->
  81.     <property>
  82.       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  83.       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  84.     </property>
  85.        
  86.     <!-- 启用YARN日志聚合功能 -->
  87.     <property>
  88.       <name>yarn.log-aggregation-enable</name>
  89.       <value>true</value>
  90.     </property>
  92.     <!-- 配置日志聚合保留时间，单位为秒，这里设置为7天 -->
  93.     <property>
  94.       <name>yarn.log-aggregation.retain-seconds</name>
  95.       <value>604800</value>
  96.     </property>       
  97. </configuration>
复制代码
workers配置文件

  1. vim /export/service/etc/hadoop/workers
  2. hadoop01
  3. hadoop02
  4. hadoop03
复制代码
分发到其他服务器

  1. scp /export/service/hadoop/etc/hadoop/* hadoop02:/export/service/hadoop/etc/hadoop/
  2. scp /export/service/hadoop/etc/hadoop/* hadoop03:/export/service/hadoop/etc/hadoop/
复制代码
启动hadoop服务

1、初始化zookeeper（任意节点）

  1. hdfs zkfc -formatZK
复制代码
验证zkfc是否格式化乐成
  1. # zkCli.sh
  3. [zk: localhost:2181(CONNECTED) 0] ls /hadoop-ha
  4. [mycluster]
复制代码
2、启动journalnode

在hadoop01、hadoop02及hadoop03节点启动journalnode
  1. hdfs --daemon start journalnode
复制代码
补充：若在Hadoop启动过程找不到JAVA_HOME就到/export/service/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件手工配置JAVA_HOME
  1. export JAVA_HOME='/export/service/jdk-1.8.0'
复制代码
3、启动namenode

hadoop01格式化namenode
  1. hdfs namenode -format
复制代码
 若journalnode正常启动，namenode格式出现问题，大概率是文件夹/export/service/hadoop-3.3.4/tmp权限不足，因此必要给这个文件夹授权
  1. sudo chmod -R 777 /export/service/hadoop-3.3.4/tmp
复制代码
在hadoop01启动namenode
  1. hdfs --daemon start namenode
复制代码
将hadoop01节点上namenode的数据同步到其他nameNode节点，在hadoop02、hadoop03节点执行：
  1. hdfs namenode -bootstrapStandby
复制代码
欣赏器访问NameNode,当前所有NameNode都是standby状态：
  1. http://192.168.174.201:9870/
  2. http://192.168.174.202:9870/
  3. http://192.168.174.203:9870/
复制代码
4、启动所有其他服务，包括zkfc

  1. start-all.sh
复制代码
编写hadoop一键启动脚本

  1. sudo vim /home/hadoop/bin/hdp.sh
复制代码
  1. #!/bin/bash
  2. if [ $# -lt 1 ]
  3. then
  4.     echo "No Args Input..."
  5.     exit ;
  6. fi
  7. case $1 in
  8. "start")
  9.         echo " =================== 启动 hadoop集群 ==================="
  11.         echo " --------------- 启动 hdfs ---------------"
  12.         ssh hadoop01 "/export/service/hadoop-3.3.4/sbin/start-dfs.sh"
  13.         echo " --------------- 启动 yarn ---------------"
  14.         ssh hadoop02 "/export/service/hadoop-3.3.4/sbin/start-yarn.sh"
  15.         echo " --------------- 启动 historyserver ---------------"
  16.         ssh hadoop03 "/export/service/hadoop-3.3.4/bin/mapred --daemon start historyserver"
  17. ;;
  18. "stop")
  19.         echo " =================== 关闭 hadoop集群 ==================="
  21.         echo " --------------- 关闭 historyserver ---------------"
  22.         ssh hadoop01 "/export/service/hadoop-3.3.4/bin/mapred --daemon stop historyserver"
  23.         echo " --------------- 关闭 yarn ---------------"
  24.         ssh hadoop02 "/export/service/hadoop-3.3.4/sbin/stop-yarn.sh"
  25.         echo " --------------- 关闭 hdfs ---------------"
  26.         ssh hadoop03 "/export/service/hadoop-3.3.4/sbin/stop-dfs.sh"
  27. ;;
  28. *)
  29.     echo "Input Args Error..."
  30. ;;
  31. esac
  32. xcall jps
复制代码
授权限
  1. sudo chmod 777 hdp.sh
复制代码
！！注意 关机之前必须要关闭hadoop，否则namenode和datanode在下次启动大概率会出现故障



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4