ToB企服应用市场:ToB评测及商务社交产业平台

标题: Hadoop HA高可用集群3.3.6搭建（详细教程） [打印本页]
作者: 我爱普洱茶    时间: 2025-1-9 12:20
标题: Hadoop HA高可用集群3.3.6搭建（详细教程）
前置环境
（1）下载：https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
（2）安装ZK Linux环境Zookeeper集群安装（详细教程）-CSDN博客
（3）确保SSH互通Centos集群一键免密登陆xssh脚本
  
部署规划




1.第一台呆板上传解压hadoop安装包

  1. # 1.解压到指定路径
  2. wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
  3. tar -zxvf /opt/apk/hadoop-3.3.6.tar.gz -C /opt/
  4. # 创建软链接
  5. ln -s /opt/hadoop-3.3.6 /opt/apps/hadoop
  6. # 2.配置环境变量
  7. vi /etc/profile.d/my_env.sh
  8. # 在末尾添加
  9. # HADOOP_HOME
  10. export HADOOP_HOME=/opt/apps/hadoop
  11. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  13. # 3.使修改后的文件生效
  14. source /etc/profile
  16. # 4.测试Hadoop是否安装成功
  17. hadoop version
复制代码
2.目次准备

   在bigdata01创建好，后面会分发给各个节点
像data1、data2...，本地目次可以配置多个，且每个目次存放内容雷同，增长了可靠性，并没有真正提高高可用性
 
  1. # 创建目录结构
  2. mkdir -p /opt/apps/hadoop/data1/tmp
  3. mkdir -p /opt/apps/hadoop/data2/tmp
  5. mkdir -p /opt/apps/hadoop/data1/data/journalnode
  6. mkdir -p /opt/apps/hadoop/data1/data/namenode
  7. mkdir -p /opt/apps/hadoop/data2/data/namenode
  8. mkdir -p /opt/apps/hadoop/data1/data/datanode
  9. mkdir -p /opt/apps/hadoop/data2/data/datanode
  11. # 创建目录的所属用户组和用户
  12. groupadd hadoop
  13. useradd -m -g hadoop hadoop
  15. # 更改hadoop目录的所有权
  16. chown -R hadoop:hadoop /opt/hadoop-3.3.6
  17. chmod -R 755 /opt/apps/hadoop/data1/
  18. chmod -R 755 /opt/apps/hadoop/data2/
复制代码

3.集群配置

cd /opt/apps/hadoop/etc/hadoop
vi hadoop-env.sh
  1. # 追加内容，日志路径配置修改该文件
  2. export JAVA_HOME=/opt/apps/java
  3. export HDFS_NAMENODE_USER=root
  4. export HDFS_DATANODE_USER=root
  5. export HDFS_SECONDARYNAMENODE_USER=root
  6. export HDFS_ZKFC_USER=root
  7. export HDFS_JOURNALNODE_USER=root
  8. export YARN_RESOURCEMANAGER_USER=root
  9. export YARN_NODEMANAGER_USER=root
复制代码
下列配置，在<configuration>与</configuration>之间添加内容：
vi core-site.xml
  1.     <!-- 指定HDFS的通信地址 -->
  2.     <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://ns1</value>
  5.     </property>
  6.     <!-- 指定Hadoop临时数据的存储目录 -->
  7.     <property>
  8.         <name>hadoop.tmp.dir</name>
  9.         <value>/opt/apps/hadoop/data1/tmp,/opt/apps/hadoop/data2/tmp</value>
  10.     </property>
  11.     <!-- 指定Hadoop日志的存储目录 -->
  12.     <property>
  13.         <name>hadoop.log.dir</name>
  14.         <value>/opt/apps/hadoop/data2/log/hadoop</value>
  15.     </property>
  16.     <!-- 配置ZooKeeper集群的地址列表，用于Hadoop高可用性(HA) -->
  17.     <property>
  18.         <name>ha.zookeeper.quorum</name>
  19.         <value>bigdata01:2181,bigdata02:2181,bigdata03:2181</value>
  20.     </property>
  21.     <!-- 设置访问Hadoop Web界面时使用的静态用户名 -->
  22.     <property>
  23.         <name>hadoop.http.staticuser.user</name>
  24.         <value>root</value>
  25.     </property>
  26.     <!-- 允许root用户代理任何主机上的请求，指定了哪些主机可以作为代理用户来提交作业 -->
  27.     <property>
  28.         <name>hadoop.proxyuser.root.hosts</name>
  29.         <value>*</value>
  30.     </property>
  31.     <!-- 允许root用户代理任何组的用户 -->
  32.     <property>
  33.         <name>hadoop.proxyuser.root.groups</name>
  34.         <value>*</value>
  35.     </property>
复制代码
vi hdfs-site.xml
  1.     <!-- 设置HDFS的副本数 -->
  2.     <property>
  3.         <name>dfs.replication</name>
  4.         <value>3</value>
  5.     </property>
  6.     <!-- NameNode的元数据存储目录 -->
  7.     <property>
  8.         <name>dfs.namenode.name.dir</name>
  9.         <value>/opt/apps/hadoop/data1/data/namenode,/opt/apps/hadoop/data2/data/namenode</value>
  10.     </property>
  11.     <!-- DataNode的数据存储目录 -->
  12.     <property>
  13.         <name>dfs.datanode.data.dir</name>
  14.         <value>/opt/apps/hadoop/data1/data/datanode,/opt/apps/hadoop/data2/data/datanode</value>
  15.     </property>
  16.     <!-- 设置命名服务的名称，在 HDFS 中，nameservices 是一个逻辑名称，用于标识一组 NameNode 实例。它允许客户端和其他 HDFS 组件通过一个统一的名称来访问多个 NameNode，从而实现高可用性。 -->
  17.     <property>
  18.         <name>dfs.nameservices</name>
  19.         <value>ns1</value>
  20.     </property>
  21.     <!-- 配置高可用性NameNode -->
  22.     <property>
  23.         <name>dfs.ha.namenodes.ns1</name>
  24.         <value>nn1,nn2</value>
  25.     </property>
  26.     <!-- NameNode nn1 的 RPC 地址,默认值9000 -->
  27.     <property>
  28.         <name>dfs.namenode.rpc-address.ns1.nn1</name>
  29.         <value>bigdata01:8020</value>
  30.     </property>
  31.     <!-- NameNode nn1 的 HTTP 地址 -->
  32.     <property>
  33.         <name>dfs.namenode.http-address.ns1.nn1</name>
  34.         <value>bigdata01:9870</value>
  35.     </property>
  36.     <!-- NameNode nn2 的 RPC 地址 -->
  37.     <property>
  38.         <name>dfs.namenode.rpc-address.ns1.nn2</name>
  39.         <value>bigdata02:8020</value>
  40.     </property>
  41.     <!-- NameNode nn2 的 HTTP 地址 -->
  42.     <property>
  43.         <name>dfs.namenode.http-address.ns1.nn2</name>
  44.         <value>bigdata02:9870</value>
  45.     </property>
  46.     <!-- 共享edits日志的目录，在 HA 配置中，多个 NameNode 需要访问同一组edits日志，以确保它们之间的数据一致性。 -->
  47.     <!-- qjournal 是一种用于存储edits日志的机制。它允许多个 NameNode 通过一个共享的、可靠的日志系统来记录对文件系统的修改。qjournal 由多个 JournalNode 组成，这些 JournalNode 负责接收和存储来自 NameNode 的编辑日志。 -->
  48.     <property>
  49.         <name>dfs.namenode.shared.edits.dir</name>
  50.         <value>qjournal://bigdata01:8485;bigdata02:8485;bigdata03:8485/ns1</value>
  51.     </property>
  52.     <!-- JournalNode的edits日志存储目录，不支持多目录 -->
  53.     <property>
  54.         <name>dfs.journalnode.edits.dir</name>
  55.         <value>/opt/apps/hadoop/data1/data/journalnode</value>
  56.     </property>
  57.     <!-- 启用自动故障转移 -->
  58.     <property>
  59.         <name>dfs.ha.automatic-failover.enabled</name>
  60.         <value>true</value>
  61.     </property>
  62.     <!-- 配置客户端故障转移代理提供者 -->
  63.     <property>
  64.         <name>dfs.client.failover.proxy.provider.ns1</name>
  65.         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  66.     </property>
  67.     <!-- 禁用权限检查 -->
  68.     <property>
  69.         <name>dfs.permissions.enable</name>
  70.         <value>false</value>
  71.     </property>
  72.     <!-- 配置隔离机制，如果ssh是默认22端口，value直接写sshfence即可,否则sshfence(host:port)  -->
  73.     <property>
  74.         <name>dfs.ha.fencing.methods</name>
  75.         <value>sshfence</value>
  76.         <value>shell(/bin/true)</value>
  77.     </property>
  78.     <!-- SSH围栏使用的私钥文件 -->
  79.     <property>
  80.         <name>dfs.ha.fencing.ssh.private-key-files</name>
  81.         <value>/root/.ssh/id_rsa</value>
  82.     </property>
  83.     <property>
  84.         <name>dfs.ha.nn.not-become-active-in-safemode</name>
  85.         <value>true</value>
  86.     </property>
  87.     <!-- SSH连接超时时间 -->
  88.     <property>
  89.         <name>dfs.ha.fencing.ssh.connect-timeout</name>
  90.         <value>30000</value>
  91.     </property>
复制代码
vi yarn-site.xml
  1.     <!-- 启用YARN ResourceManager的高可用性（HA） -->
  2.     <property>
  3.         <name>yarn.resourcemanager.ha.enabled</name>
  4.         <value>true</value>
  5.     </property>
  6.     <!-- 设置YARN集群的唯一标识符，自定义YARN高可用集群的标识符 -->
  7.     <property>
  8.         <name>yarn.resourcemanager.cluster-id</name>
  9.         <value>yarn-ha</value>
  10.     </property>
  12.     <!-- 列出所有ResourceManager实例的ID，指定YARN高可用集群中每个ResourceManager的唯一标识符 -->
  13.     <property>
  14.         <name>yarn.resourcemanager.ha.rm-ids</name>
  15.         <value>rm1,rm2</value>
  16.     </property>
  17.     <!-- 指定第一个ResourceManager实例（rm1）的主机名 -->
  18.     <property>
  19.         <name>yarn.resourcemanager.hostname.rm1</name>
  20.         <value>bigdata01</value>
  21.     </property>
  22.     <!-- 指定第二个ResourceManager实例（rm2）的主机名 -->
  23.     <property>
  24.         <name>yarn.resourcemanager.hostname.rm2</name>
  25.         <value>bigdata02</value>
  26.     </property>
  27.     <!-- 指定ZooKeeper服务器地址，用于存储ResourceManager的状态信息 -->
  28.     <property>
  29.         <name>yarn.resourcemanager.zk-address</name>
  30.         <value>bigdata01:2181,bigdata02:2181,bigdata03:2181</value>
  31.     </property>
  32.     <!-- 配置NodeManager上的辅助服务，这里设置为MapReduce shuffle服务 -->
  33.     <property>
  34.         <name>yarn.nodemanager.aux-services</name>
  35.         <value>mapreduce_shuffle</value>
  36.     </property>
  37.     <!-- 启用日志聚合功能，将容器日志收集到HDFS中 -->
  38.     <property>
  39.         <name>yarn.log-aggregation-enable</name>
  40.         <value>true</value>
  41.     </property>
  42.     <!-- 设置日志聚集服务器地址 -->
  43.     <property>  
  44.         <name>yarn.log.server.url</name>  
  45.         <value>http://bigdata01:19888/jobhistory/logs</value>
  46.     </property>
  47.     <!-- 设置日志保留时间（秒），这里是1天 -->
  48.     <property>
  49.         <name>yarn.log-aggregation.retain-seconds</name>
  50.         <value>86400</value>
  51.     </property>
  52.     <!-- 启用ResourceManager的恢复功能 -->
  53.     <property>
  54.         <name>yarn.resourcemanager.recovery.enabled</name>
  55.         <value>true</value>
  56.     </property>
  57.     <!-- 指定ResourceManager状态存储的实现类，这里使用ZooKeeper作为存储 -->
  58.     <property>
  59.         <name>yarn.resourcemanager.store.class</name>
  60.         <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  61.     </property>
  62.     <!-- 指定第一个ResourceManager实例（rm1）Web应用程序的地址 -->
  63.     <property>
  64.         <name>yarn.resourcemanager.webapp.address.rm1</name>
  65.         <value>bigdata01:8088</value>
  66.     </property>
  67.     <!-- 指定第一个ResourceManager实例（rm1）调度器的地址 -->
  68.     <property>
  69.         <name>yarn.resourcemanager.scheduler.address.rm1</name>
  70.         <value>bigdata01:8030</value>
  71.     </property>
  72.     <!-- 指定第一个ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳，领取任务等。 -->
  73.     <property>
  74.         <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
  75.         <value>bigdata01:8031</value>
  76.     </property>
  77.     <property>
  78.          <name>yarn.resourcemanager.address.rm1</name>
  79.          <value>bigdata01:8032</value>
  80.     </property>
  81.     <property>
  82.          <name>yarn.resourcemanager.admin.address.rm1</name>
  83.          <value>bigdata01:8033</value>
  84.     </property>
  85.     <!-- 指定第二个ResourceManager实例（rm2）Web应用程序的地址 -->
  86.     <property>
  87.         <name>yarn.resourcemanager.webapp.address.rm2</name>
  88.         <value>bigdata02:8088</value>
  89.     </property>
  90.     <!-- 指定第二个ResourceManager实例（rm2）调度器的地址 -->
  91.     <property>
  92.         <name>yarn.resourcemanager.scheduler.address.rm2</name>
  93.         <value>bigdata02:8030</value>
  94.     </property>
  95.     <!-- 指定第二个ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳，领取任务等。 -->
  96.     <property>
  97.         <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
  98.         <value>bigdata02:8031</value>
  99.     </property>
  100.     <property>
  101.          <name>yarn.resourcemanager.address.rm2</name>
  102.          <value>bigdata02:8032</value>
  103.     </property>
  104.     <property>
  105.          <name>yarn.resourcemanager.admin.address.rm2</name>
  106.          <value>bigdata02:8033</value>
  107.     </property>
  108.     <!--环境变量通过从NodeManagers的容器继承的环境属性，对于MapReduce应用程序，除了 默认值 hadoop op_mapred_home 应被加入 外，还有如下属性值：-->
  109.      <property>
  110.          <name>yarn.nodemanager.env-whitelist</name>
  111.          <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  112.      </property>
复制代码
vi mapred-site.xml
  1.     <!-- 指定MapReduce框架使用的资源管理器名称，这里设置为YARN -->
  2.     <property>
  3.         <name>mapreduce.framework.name</name>
  4.         <value>yarn</value>
  5.     </property>
  6.     <!-- 设置MapReduce JobHistory服务的地址，用于存储已完成作业的历史信息 -->
  7.     <property>
  8.         <name>mapreduce.jobhistory.address</name>
  9.         <value>bigdata01:10020</value>
  10.     </property>
  11.     <!-- 设置MapReduce JobHistory Web应用程序的地址，可以通过浏览器访问来查看作业历史记录 -->
  12.     <property>
  13.         <name>mapreduce.jobhistory.webapp.address</name>
  14.         <value>bigdata01:19888</value>
  15.     </property>
  16.     <!-- 为MapReduce Application Master设置环境变量，指定HADOOP_MAPRED_HOME路径 -->
  17.     <property>
  18.         <name>yarn.app.mapreduce.am.env</name>
  19.         <value>HADOOP_MAPRED_HOME=\${HADOOP_HOME}</value>
  20.     </property>
  21.     <!-- 为Map任务设置环境变量，指定HADOOP_MAPRED_HOME路径 -->
  22.     <property>
  23.         <name>mapreduce.map.env</name>
  24.         <value>HADOOP_MAPRED_HOME=\${HADOOP_HOME}</value>
  25.     </property>
  26.     <!-- 为Reduce任务设置环境变量，指定HADOOP_MAPRED_HOME路径 -->
  27.     <property>
  28.         <name>mapreduce.reduce.env</name>
  29.         <value>HADOOP_MAPRED_HOME=\${HADOOP_HOME}</value>
  30.     </property>
复制代码
vi workers
  1. bigdata01
  2. bigdata02
  3. bigdata03
复制代码

4.分发文件到其他集群

  1. [root@bigdata01 opt]# xsync -i "bigdata02 bigdata03" /opt/hadoop-3.3.6/
  2. [root@bigdata01 opt]# xsync -i "bigdata02 bigdata03" /opt/apps/hadoop
  3. [root@bigdata01 opt]# xsync -i "bigdata02 bigdata03" /etc/profile
  4. [root@bigdata01 opt]# xcall -i "bigdata02 bigdata03" source /etc/profile
复制代码

5.启动Hadoop集群


5.1启动Zookeeper集群

  1. [root@bigdata01 hadoop]# zkCluster start
复制代码

5.2启动JournalNode

   
在格式化 Hadoop 高可用集群的 HDFS 文件系统时，系统会向 Quorum Journal Manager 写入 EditLog。在首次启动之前，需要在虚拟机 bigdata01、bigdata02 和 bigdata03 上分别执行以下下令以启动 JournalNode
  1. [root@bigdata01 hadoop]# xcall -i "bigdata01 bigdata02 bigdata03" hdfs --daemon start journalnode
复制代码
 

5.3格式化HDFS（Hadoop分布式文件系统）

   
在虚拟机bigdata01执行如下下令格式化Hadoop分布式文件系统HDFS
  1. [root@bigdata01 hadoop]# hdfs namenode -format
复制代码
 重新格式化NameNode步调

  1. # 1.先停止集群的进程
  2. stop-all.sh
  4. # 1.删除所有的数据目录
  5. xcall "rm -rf /opt/apps/hadoop/data1"
  6. xcall "rm -rf /opt/apps/hadoop/data2"
  7. xcall "rm -rf /opt/apps/hadoop/logs"
  9. # 2.重新开始第五节启动集群步骤
复制代码

5.4FSImage文件同步

   
为了确保HDFS初次启动时两个NameNode节点上的FSImage文件保持划一，在虚拟机bigdata01上完成HDFS格式化后（此操作仅初始化虚拟机bigdata01的NameNode并天生FSImage文件），需要将天生的FSImage文件从bigdata01复制到bigdata02对应的目次中。
  1. xsync -i "bigdata02" /opt/apps/hadoop/data1/data/namenode
  2. xsync -i "bigdata02" /opt/apps/hadoop/data2/data/namenode
复制代码


5.5.格式化ZKFC

   
ZKFC（ZooKeeper Failover Controller）是Hadoop高可用性（HA）架构中的一个关键组件，重要用于NameNode的故障转移管理。在HDFS HA配置中，通常会部署两个NameNode节点来提供服务冗余，其中一个处于Active状态负责处理客户端请求，另一个则处于Standby状态作为备份。ZKFC的作用就是在主NameNode发生故障时主动切换到备用NameNode，从而保证系统的连续性和数据的划一性。
在虚拟机bigdata01执行如下下令格式化ZKFC
  1. [root@bigdata01 logs]# hdfs zkfc -formatZK
复制代码

5.6.集群启动

  1. [root@bigdata01 hadoop]# start-all.sh     # 关闭命令stop-all.sh,QuorumPeerMain是zk的集群的启动类，需要执行zkCluster stop
复制代码

六、问题排查

   直接进入日记目次 cd $HADOOP_HOME/logs ，可以看到节点的启动log文件举行排查
  

  6.1Hadoop运行一段时间，NodeManager挂掉

检察hadoop-root-nodemanager-bigdata01.log如下图所示：

缘故原由：
(1)异常缘故原由为zookeeper的版本不适配，将zookeeper-3.4.6升级到apache-zookeeper-3.8.2-bin，此处问题解决。
(2)ResourceManager 对NodeManager暴露的地址.。NodeManager通过该地址向RM汇报心跳，领取任务等，默认与 0.0.0.0:8031举行通信。需要指定yarn-site.xml 增长如下设置
  1.     <!-- 指定第一个ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳，领取任务等。 -->
  2.     <property>
  3.         <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
  4.         <value>bigdata01:8031</value>
  5.     </property>
  6.     <!-- 指定第二个ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳，领取任务等。 -->
  7.     <property>
  8.         <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
  9.         <value>bigdata02:8031</value>
  10.     </property>
复制代码

6.2高可用节点默认指向节点2


可以把yarn-site.xml中rm1,rm2顺序，改成rm2,rm1,如下：
  1. <property>
  2.         <name>yarn.resourcemanager.ha.rm-ids</name>
  3.         <value>rm2,rm1</value>
  4.  </property>
复制代码

七、服务访问（需在访问主机添加hosts剖析）


7.1 检察yarn集群中的master节点

  1. # 查看所有节点活动状态
  2. [root@bigdata01 logs]# yarn rmadmin -getAllServiceState
  3. bigdata01:8033                                     standby   
  4. bigdata02:8033                                     active    
  5. # 查看提交应用程序的列表
  6. [root@bigdata01 logs]# yarn application -list
  7. 2025-01-06 10:22:06,267 INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm2
  8. Total number of applications (application-types: [], states: [SUBMITTED, ACCEPTED, RUNNING] and tags: []):0
  9.                 Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                        Tracking-URL
  10. # 关闭bigdata02的yarn进程，自动切换活动节点
  11. [root@bigdata02 ~]# yarn --daemon stop resourcemanager
复制代码
7.2访问resourcemanager（高可用）

   http://bigdata01:8088/cluster

  7.3访问节点namenode

   http://192.168.26.22:9870/

   
7.4开启汗青日记服务器（bigdata01）

  1. [root@bigdata01 hadoop]# mapred --daemon start historyserver
复制代码
  http://bigdata01:19888/jobhistory
  
附录


附录一：编写Hadoop高可用集群脚本

   
不推荐利用start-all.sh下令，后续的Spark、hive有雷同下令冲突
  1. #!/bin/bash
  2. # chmod a+x /usr/local/bin/haCluster
  3. if [ $# -lt 1 ]
  4. then
  5.     echo "No Args Input!"
  6.     exit;
  7. fi
  9. case $1 in
  10. "start")
  11.         echo -e "\n================= 启动 hadoop集群 ================="
  12.         echo " ------------------- 启动 hdfs --------------------"
  13.         $HADOOP_HOME/sbin/start-dfs.sh
  14.         echo " ------------------- 启动 yarn --------------------"
  15.         $HADOOP_HOME/sbin/start-yarn.sh
  16.         echo " --------------- 启动 historyserver ---------------"
  17.         echo "Starting historyserver on [bigdata01]"
  18.         ssh bigdata01 "$HADOOP_HOME/bin/mapred --daemon start historyserver"
  19.     echo -e "\n"
  20. ;;
  21. "stop")
  22.         echo -e "\n================= 关闭 hadoop集群 ================="
  23.         echo " --------------- 关闭 historyserver ---------------"
  24.         echo "Stopping historyserver on [bigdata01]"
  25.         ssh bigdata01 "$HADOOP_HOME/bin/mapred --daemon stop historyserver"
  26.         echo " ------------------- 关闭 yarn --------------------"
  27.         $HADOOP_HOME/sbin/stop-yarn.sh
  28.         echo " ------------------- 关闭 hdfs --------------------"
  29.         $HADOOP_HOME/sbin/stop-dfs.sh
  30.     echo -e "\n"
  31. ;;
  32. *)
  33.     echo "Input Args Error!"
  34. ;;
  35. esac
复制代码
 
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4