ToB企服应用市场:ToB评测及商务社交产业平台

标题: 05安装一个Hadoop分布式集群 [打印本页]

---

作者: 知者何南    时间: 2023-2-6 08:33
标题: 05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群

最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从而更好的理解集群中各个进程的作用。
一、环境准备

笔者认为一个Hadoop集群管理着两种资源，计算资源（CPU和内存）与存储资源（数据存储）。所以就对应了两类服务，yarn和HDFS：

• yarn resourcemanager：资源管理器，负责管理nodemanager、调度集群资源
  
• yarn nodemanager：节点管理器，管理物理机器上的CPU和内存，一个集群可以有多个节点
  
• HDFS namenode：HDFS namenode节点，管理文件系统元数据
  
• HDFS datanode：HDFS datanode节点，存储文件数据块
  
• historyserver：历史作业查询服务，用于查询已经结束的任务运行期间数据
  

yarn之后会进行介绍，这里只需要知道它和HDFS一样，有两种服务：resourcemanager和nodemanager，resourcemanager类似HDFS的namenode节点，nodemanager类似HDFS的datanode节点。
我的集群使用了2个虚拟机，debian系统，8G内存，并且安装了JDK1.8。这样我就有3台机器，分别是客户机Windows，Linux-1和Linux-2。Linux-1运行了集群全套的服务，Linux-2负责运行一个nodemanager节点，模拟被resourcemanager调度。
Linux-1和Linux-2的完整情况如下：
Linux-1Linux-2IP地址192.168.0.200192.168.0.201resourcemanager运行nodemanager运行运行namenode运行datanode运行historyserver运行整个集群的网络需要能够互相访问，其他无特殊要求，系统拓扑如下：

二、配置文件结构

1、配置文件结构简介

一个配置文件结构如下：

1. <?xml version="1.0" encoding="UTF-8"?>
2. <configuration>
3.   <property>
4.     <name>my.host</name>
5.     <value>192.168.0.200</value>
6.   </property>
7.   <property>
8.     <name>fs.defaultFS</name>
9.     <value>hdfs://${my.host}:8082/</value>
10.   </property>
11. </configuration>

复制代码

一个配置文件的根节点是configuration，一般包含多个property节点，而一个property节点就是一个配置参数。property节点有name和value两个属性，分别是配置名称和值。
如果存在多个同名的property节点，后一个property节点会覆盖前一个。property节点的value支持${}占位符，运行的时候占位符会被解析为实际的值。
2、Hadoop配置

Hadoop有上百个配置，分为默认配置和自定义配置两类。如果某个参数在自定义配置没有，则会加载默认配置，所以我们只需要在自定义配置中加入少量的参数就可以运行集群。
可以在以下网址查询到Hadoop的默认配置：

• core-default.xml
  
• yarn-default.xml
  
• mapred-default.xml
  
• hdfs-default.xml
  

自定义配置位于Hadoop安装目录下的etc/hadoop下，对应的4个自定义配置文件，名称分别为core-site.xml、yarn-site.xml、mapred-site.xml、hdfs-site.xml
三、安装和配置集群

1、修改配置文件

从https://hadoop.apache.org/releases.html下载Hadoop程序。这里我下载的是2.10.2。分别解压到Linux-1和Linux-2上，解压后程序目录如下：

1. drwxr-xr-x 2 debian debian   4096  5月 25  2022 bin
2. drwxr-xr-x 3 debian debian   4096  5月 25  2022 etc
3. drwxr-xr-x 2 debian debian   4096  5月 25  2022 include
4. drwxr-xr-x 3 debian debian   4096  5月 25  2022 lib
5. drwxr-xr-x 2 debian debian   4096  5月 25  2022 libexec
6. -rw-r--r-- 1 debian debian 106210  5月 25  2022 LICENSE.txt
7. drwxr-xr-x 3 debian debian   4096  2月  4 17:05 logs
8. -rw-r--r-- 1 debian debian  15830  5月 25  2022 NOTICE.txt
9. -rw-r--r-- 1 debian debian   1366  5月 25  2022 README.txt
10. drwxr-xr-x 3 debian debian   4096  5月 25  2022 sbin
11. drwxr-xr-x 4 debian debian   4096  5月 25  2022 share

复制代码

etc/hadoop为程序配置文件存放配置，我们需要在每一个节点创建4个文件core-site.xml、yarn-site.xml、mapred-site.xml、hdfs-site.xml。
笔者的配置完整内容如下：
core-site.xml

my.host需要配置成当前主机实际的地址。my.namenode.host、my.resourcemanager.host、my.jobhistory.host分别配置为：HDFS namenode运行地址、yarn资源管理器运行地址、历史作业查询服务jobhistory运行地址。这里提一下fs.defaultFS，它的含义是HDFS的namenode地址，HDFS的datanode通过这个地址来发现namenode，同时这个地址也是默认文件系统地址，用于解析相对的文件路径。

1. <?xml version="1.0" encoding="UTF-8"?>
2. <configuration>
3.   
4.   <property>
5.     <name>my.host</name>
6.     <value>192.168.0.200</value>
7.   </property>
8.   
9.   <property>
10.     <name>my.namenode.host</name>
11.     <value>192.168.0.200</value>
12.   </property>
13.   
14.   <property>
15.     <name>my.resourcemanager.host</name>
16.     <value>192.168.0.200</value>
17.   </property>
18.   
19.   <property>
20.     <name>my.jobhistory.host</name>
21.     <value>192.168.0.200</value>
22.   </property>
24.   
25.   <property>
26.     <name>fs.defaultFS</name>
27.     <value>hdfs://${my.namenode.host}:8082/</value>
28.   </property>
29. </configuration>

复制代码

yarn-site.xml

yarn中机器ip的配置大多数继承于core-site.xml，所以可以直接分发这个文件到各个机器上，唯一需要注意的是yarn.nodemanager.local-dirs参数，这个目录用于存放任务运行过程中的临时文件，通常需要大一点。

1. <?xml version="1.0"?>
2. <configuration>
3.   
4.   <property>
5.     <name>yarn.resourcemanager.hostname</name>
6.     <value>${my.resourcemanager.host}</value>
7.   </property>
8.   
9.   <property>
10.     <name>yarn.resourcemanager.bind-host</name>
11.     <value>0.0.0.0</value>
12.   </property>
14.   
15.   <property>
16.     <name>yarn.nodemanager.hostname</name>
17.     <value>${my.host}</value>
18.   </property>
19.   
20.   <property>
21.     <name>yarn.nodemanager.bind-host</name>
22.     <value>0.0.0.0</value>
23.   </property>
24.   
25.   <property>
26.     <name>yarn.nodemanager.local-dirs</name>
27.     <value>/data1/debian/hadoop-data/nodemanager-local-data</value>
28.   </property>
29.   <property>
30.     <name>yarn.nodemanager.aux-services</name>
31.     <value>mapreduce_shuffle</value>
32.   </property>
33.   
34.   <property>
35.     <name>yarn.nodemanager.resource.memory-mb</name>
36.     <value>4000</value>
37.   </property>
38.   
39.   <property>
40.     <name>yarn.scheduler.maximum-allocation-mb</name>
41.     <value>3000</value>
42.   </property>
43. </configuration>

复制代码

mapred-site.xml

mapred-site.xml配置只需要配置历史作业查询服务jobhistory运行地址，笔者的这个配置文件参数也来源于core-site.xml

1. <?xml version="1.0" encoding="UTF-8"?>
2. <configuration>
3.   
4.   <property>
5.     <name>mapreduce.jobhistory.address</name>
6.     <value>${my.jobhistory.host}:10020</value>
7.   </property>
8.   
9.   <property>
10.     <name>mapreduce.jobhistory.webapp.address</name>
11.     <value>${my.jobhistory.host}:19888</value>
12.   </property>
13. </configuration>

复制代码

hdfs-site.xml

这个配置文件用于控制HDFS的namenode和datanode节点数据存放路径，dfs.namenode.checkpoint.dir控制namenode数据持久化目录，之前提到的HDFS文件系统中的文件元数据就保存在这里。dfs.datanode.data.dir为数据块存放路径，HDFS中的数据块就存放在这里。
这里并没有配置namenode所在地址，datanode是通过core-site.xml的fs.defaultFS中配置的地址寻找namenode的

1. <?xml version="1.0" encoding="UTF-8"?>
2. <configuration>
3.   
4.   <property>
5.     <name>dfs.namenode.name.dir</name>
6.     <value>/data1/debian/hadoop-data/namenode-data</value>
7.   </property>
8.   
9.   <property>
10.     <name>dfs.namenode.checkpoint.dir</name>
11.     <value>/data1/debian/hadoop-data/namenode-checkpoint-data</value>
12.   </property>
13.   
14.   <property>
15.     <name>dfs.namenode.rpc-bind-host</name>
16.     <value>0.0.0.0</value>
17.   </property>
19.   
20.   <property>
21.     <name>dfs.datanode.data.dir</name>
22.     <value>/data1/debian/hadoop-data/datanode-data</value>
23.   </property>
24.   
25.   <property>
26.     <name>dfs.replication</name>
27.     <value>1</value>
28.   </property>
29. </configuration>

复制代码

2、初始化HDFS nameserver数据目录

一个新的HDFS的namenode类似新硬盘，使用前需要先格式化（初始化数据文件），datanode节点不需要这个操作。一个HDFS的容量大小取决于datanode节点数量，所以也不需要设置HDFS的容量。
在namenode运行的节点，使用如下命令初始化HDFS的数据目录：

1. bin/hdfs namenode -format

复制代码

运行完成后在dfs.namenode.name.dir配置的目录会生成namenode所需要的数据文件，里面有一个文件夹current，由于笔者HDFS节点已经运行过一段时间了，所以current中的内容如下：

1. debian@debian:/data1/debian/hadoop-data/namenode-data$ pwd
2. /data1/debian/hadoop-data/namenode-data
3. debian@debian:/data1/debian/hadoop-data/namenode-data$ ll
4. 总用量 8
5. drwxr-xr-x 2 debian debian 4096  2月  4 15:27 current
6. -rw-r--r-- 1 debian debian   10  2月  4 15:27 in_use.lock
7. debian@debian:/data1/debian/hadoop-data/namenode-data$ ll current/
8. 总用量 15396
9. -rw-r--r-- 1 debian debian 1048576  1月 22 14:20 edits_0000000000000000001-0000000000000000001
10. -rw-r--r-- 1 debian debian 1048576  1月 22 14:21 edits_0000000000000000002-0000000000000000002
11. -rw-r--r-- 1 debian debian 1048576  1月 22 14:21 edits_0000000000000000003-0000000000000000003
12. -rw-r--r-- 1 debian debian 1048576  1月 22 14:29 edits_0000000000000000004-0000000000000000004
13. -rw-r--r-- 1 debian debian 1048576  1月 24 17:47 edits_0000000000000000005-0000000000000000048
14. -rw-r--r-- 1 debian debian 1048576  1月 24 18:03 edits_0000000000000000049-0000000000000000061
15. -rw-r--r-- 1 debian debian 1048576  1月 28 10:01 edits_0000000000000000062-0000000000000000170
16. -rw-r--r-- 1 debian debian 1048576  2月  2 17:01 edits_0000000000000000171-0000000000000000171
17. -rw-r--r-- 1 debian debian 1048576  2月  2 21:18 edits_0000000000000000172-0000000000000000482
18. -rw-r--r-- 1 debian debian 1048576  2月  2 22:32 edits_0000000000000000483-0000000000000000866
19. -rw-r--r-- 1 debian debian 1048576  2月  2 22:45 edits_0000000000000000867-0000000000000000867
20. -rw-r--r-- 1 debian debian 1048576  2月  2 23:09 edits_0000000000000000868-0000000000000001143
21. -rw-r--r-- 1 debian debian 1048576  2月  3 10:50 edits_0000000000000001144-0000000000000001382
22. -rw-r--r-- 1 debian debian 1048576  2月  4 00:39 edits_0000000000000001383-0000000000000001620
23. -rw-r--r-- 1 debian debian 1048576  2月  4 17:07 edits_inprogress_0000000000000001621
24. -rw-r--r-- 1 debian debian    8109  2月  4 00:01 fsimage_0000000000000001382
25. -rw-r--r-- 1 debian debian      62  2月  4 00:01 fsimage_0000000000000001382.md5
26. -rw-r--r-- 1 debian debian   10696  2月  4 15:27 fsimage_0000000000000001620
27. -rw-r--r-- 1 debian debian      62  2月  4 15:27 fsimage_0000000000000001620.md5
28. -rw-r--r-- 1 debian debian       5  2月  4 15:27 seen_txid
29. -rw-r--r-- 1 debian debian     214  2月  4 15:27 VERSION

复制代码

四、启动服务

1、启停脚本说明

进入Hadoop安装目录下的sbin文件夹，主要有3个脚本文件，用于启停集群中各种守护进程，它们分别是

• hadoop-daemon.sh
  启停HDFS的namenode和datanode，它还有多主机的启停版本hadoop-daemons.sh
  
• yarn-daemon.sh
  启停yarn的资源管理器和节点管理器，它还有多主机的启停版本yarn-daemons.sh
  
• mr-jobhistory-daemon.sh
  启停历史任务管理服务historyserver
  

2、启动HDFS

在Linux-1机器上运行如下命令

1. -- 启动namenode
2. sbin/hadoop-daemon.sh start namenode
3. -- 启动datanode
4. sbin/hadoop-daemon.sh start datanode

复制代码

使用jps命令可以看到两个进程

1. debian@debian:~/program/hadoop-2.10.2$ jps
2. 676 NameNode
3. 7846 Jps
4. 733 DataNode

复制代码

在windows物理机的浏览器输入http://192.168.0.200:50070/可访问HDFS的web管理页面，笔者的显示如下：
3、启动yarn

在Linux-1上输入如下命令启动yarn resourcemanager

1. -- 启动yarn resourcemanager
2. sbin/yarn-daemon.sh start resourcemanager

复制代码

然后在Linux-1和Linux-2启动yarn nodemanager

1. -- 启动yarn nodemanager
2. sbin/yarn-daemon.sh start nodemanager

复制代码

访问yarn的web管理地址http://192.168.0.200:8088/，可以看到当前集群下有两个资源管理器
4、启动历史作业查询服务

在Linux-1运行如下命令启动：

1. sbin/mr-jobhistory-daemon.sh start historyserver

复制代码

访问可以看到http://192.168.0.200:19888，如下界面：

五、在集群运行一个MapReduce作业

本文所有的代码放在我的github上，地址是：https://github.com/xunpengliu/hello-hadoop 。本节需要用到的模块是maxSaleMapReduce。任务用到的数据文件可以用common模块中的SaleDataGenerator可以生成。
1、编写任务配置

为了让任务运行在Hadoop集群上，我们需要编写一个配置文件cluster-config.xml。需要注意的是yarn.resourcemanager.hostname配置，很多书籍或其他资料配置的是yarn.resourcemanager.address，因为笔者提交作业是在windows上提交的，作业使用的配置是Hadoop默认配置，如果不配置yarn.resourcemanager.hostname，那么yarn.resourcemanager.resource-tracker.address的值就是0.0.0.0:8031（默认${yarn.resourcemanager.hostname}:8031），导致ApplicationMasters进程无法连上yarn resourcemanager。
如果需要跨平台，也就是提交作业的系统和集群运行的系统不一样，需要把mapreduce.app-submission.cross-platform配置成true
其他的配置就没什么特别的了，fs.defaultFS配置成HDFS的namenode的地址。mapreduce执行框架配置成yarn
完整内容如下：

1. <configuration>
2.    
3.     <property>
4.         <name>mapreduce.app-submission.cross-platform</name>
5.         <value>true</value>
6.     </property>
7.    
8.     <property>
9.         <name>fs.defaultFS</name>
10.         <value>hdfs://192.168.0.200:8082/</value>
11.     </property>
12.    
13.     <property>
14.         <name>yarn.resourcemanager.hostname</name>
15.         <value>192.168.0.200</value>
16.     </property>
17.    
18.     <property>
19.         <name>mapreduce.framework.name</name>
20.         <value>yarn</value>
21.     </property>
22.    
23.     <property>
24.         <name>mapreduce.job.maps</name>
25.         <value>5</value>
26.     </property>
27. </configuration>

复制代码

2、准备作业数据文件

任务用到的数据文件可以用common包中的SaleDataGenerator生成，把生成数据文件传到HDFS上的/input目录上，可以用Hadoop的fs命令上传。

1. hadoop fs -copyFromLocal file-0 hdfs://192.168.0.200:8082/input/file-0
2. hadoop fs -copyFromLocal file-1 hdfs://192.168.0.200:8082/input/file-1
3. hadoop fs -copyFromLocal file-2 hdfs://192.168.0.200:8082/input/file-2
4. hadoop fs -copyFromLocal file-3 hdfs://192.168.0.200:8082/input/file-3
5. hadoop fs -copyFromLocal file-4 hdfs://192.168.0.200:8082/input/file-4

复制代码

上传完成后可以在HDFS的管理页面中看到文件：
3、启动作业

输入命令启动作业：

1. hadoop jar maxSaleMapReduce-1.0-SNAPSHOT.jar -conf cluster-config.xml -libjars ./lib/common-1.0-SNAPSHOT.jar /input /output

复制代码

命令最后的input和output参数分别是数据输入目录和输出目录，由于是相对路径，会自动使用fs.defaultFS配置进行填充，所以相当于hdfs://192.168.0.200:8082/input和hdfs://192.168.0.200:8082/output。
命令执行如下：

1. C:\Users\l3789\Desktop\新建文件夹>hadoop jar maxSaleMapReduce-1.0-SNAPSHOT.jar -conf cluster-config.xml -libjars ./lib/common-1.0-SNAPSHOT.jar /input /output
2. 23/02/04 21:27:31 INFO client.RMProxy: Connecting to ResourceManager at /192.168.0.200:8032
3. 23/02/04 21:27:41 INFO input.FileInputFormat: Total input files to process : 5
4. 23/02/04 21:27:41 INFO mapreduce.JobSubmitter: number of splits:15
5. 23/02/04 21:27:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1675501509686_0002
6. 23/02/04 21:27:42 INFO conf.Configuration: resource-types.xml not found
7. 23/02/04 21:27:42 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
8. 23/02/04 21:27:42 INFO resource.ResourceUtils: Adding resource type - name = memory-mb, units = Mi, type = COUNTABLE
9. 23/02/04 21:27:42 INFO resource.ResourceUtils: Adding resource type - name = vcores, units = , type = COUNTABLE
10. 23/02/04 21:27:42 INFO impl.YarnClientImpl: Submitted application application_1675501509686_0002
11. 23/02/04 21:27:42 INFO mapreduce.Job: The url to track the job: http://192.168.0.200:8088/proxy/application_1675501509686_0002/
12. 23/02/04 21:27:42 INFO mapreduce.Job: Running job: job_1675501509686_0002
13. 23/02/04 21:27:46 INFO mapreduce.Job: Job job_1675501509686_0002 running in uber mode : false
14. 23/02/04 21:27:46 INFO mapreduce.Job:  map 0% reduce 0%

复制代码

可以访问http://192.168.0.200:8088/proxy/application_1675501509686_0002/查看任务运行情况：

六、常见问题

• 上传文件到HDFS提示copyFromLocal: Permission denied
  这个是因为hadoop命令获取到用户与HDFS上的权限不符，修改环境变量更改运行用户，然后重新执行命令：
  1. -- windows
  2. set HADOOP_USER_NAME=debian
  3. -- linux
  4. export HADOOP_USER_NAME=debian

  复制代码
• 运行MapReduce作业提示无读写权限
  1. 23/02/04 21:34:34 INFO client.RMProxy: Connecting to ResourceManager at /192.168.0.200:8032
  2. Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=test, access=EXECUTE, inode="/tmp":debian:supergroup:drwx------
  3.         at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350)
  4.         at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:311)

  复制代码
  /tmp存放任务运行的历史结果，供historyserver使用。运行任务的用户无写入权限，把这个目录设置成所有人可写，或者修改运行用户为/tmp目录的用户
  修改环境变量更改运行用户，然后重新执行命令：
  1. -- windows
  2. set HADOOP_USER_NAME=debian
  3. -- linux
  4. export HADOOP_USER_NAME=debian

  复制代码
• 运行任务状态一直卡在，任务日志报org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031
  这个问题卡了我好久，MapReduce任务的ApplicationMasters进程无法连上yarn resourcemanager。根本原因是提交任务的机器使用的yarn.resourcemanager.resource-tracker.address配置是默认的，需要在任务的配置文件中加入yarn.resourcemanager.address配置
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4