Mac 安装 Hadoop 详细教程（安装包 and Homebrew）

一、JDK 安装

   JDK 版本高于 JDK 8，可能会导致 Hadoop ResourceManager 打不开，从而导致无法访问 localhost:8088。因此最好的方法，就是准备好 JDK 8 的环境，然后导入到 Hadoop 当中。
  参考这篇文章，以为写的很好：MAC安装与卸载jdk_mac 卸载jdk-CSDN博客


二、配置 SSH

配置 SSH，防止后续毗连失败。
1. 输入：

1. ssh localhost

复制代码

成功则显示：

2. 假如失败，则在本地设置中，搜索“共享”，打开“长途登录”。

3. 打开 terminal：
(1) 假如之前没有天生过密钥，则天生：

1. ssh-keygen -t rsa

复制代码

(2) 有密钥后，更改授权，免密登岸：

1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. chmod 600 ~/.ssh/authorized_keys

复制代码

三、Hadoop下载

方法一：安装包下载

1. 登岸网址：hadoop安装毗连
2. 选择自己要的版本下载，我下的是最新版：

3. 点进去后，选择 tar.gz:

4. 点击，下载到本地，然后解压，放在自己需要的目次中，我放在了

1. /usr/local/Cellar/hadoop/hadoop-3.4.0

复制代码

方法二：Homebrew 安装

1. 本地先安装 Homebrew，参考这篇文章：Mac安装Homebrew
2. 安装 Hadoop：

1. brew install hadoop

复制代码

PS: 这种安装方式可能会少 lib/native 文件夹，详细原因未知。

四、配置 Hadoop

1、 配置 Hadoop 全局变量：

   注意：这里是在主terminal配置。
  1. 打开 terminal，输入：

1. vim ～/.bash_profile

复制代码

2. 在文件中输入：

1. # Hadoop
2. # 你本机的Hadoop存放地址
3. export HADOOP_HOME=/usr/local/Cellar/hadoop/hadoop-3.4.0
5. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
6. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
7. export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
8. export HADOOP_MAPRED_HOME=$HADOOP_HOME
9. export HADOOP_INSTALL=$HADOOP_HOME
10. export HADOOP_COMMON_HOME=$HADOOP_HOME
11. export HADOOP_HDFS_HOME=$HADOOP_HOME
12. export YARN_HOME=$HADOOP_HOME

复制代码

3. 保存后，使之生效，这样便可在全局使用 hadoop 启动命令：

1. source ～/.bash_profile

复制代码

2、配置 Hadoop 中的文件

打开 hadoop 文件夹，再打开 /etc/hadoop 文件夹，修改以下文件：
1. 打开 hadoop-env.sh，添加 java_home 的位置：

使用这句话来查询 java_home 的位置：

1. /usr/libexec/java_home -V

复制代码

2. 我的 hadoop 文件夹位置是：

1. /usr/local/Cellar/hadoop/hadoop-3.4.0

复制代码

使用 terminal，在 hadoop 文件夹中新建几个文件夹：

1. mkdir /usr/local/Cellar/hadoop/hadoop-3.4.0/tmp
2. mkdir /usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs
3. mkdir /usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs/name
4. mkdir /usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs/data

复制代码

3. 打开 core-site.xml，添加：

1. <configuration>
3.   <property>
4.     <name>fs.defaultFS</name>
5.     <value>hdfs://localhost:8020</value>
6.   </property>
8.   <property>
9.     <name>hadoop.tmp.dir</name>
10.     <!--hadoop安装地址+/tmp，刚刚新建的文件夹-->
11.     <value>/usr/local/Cellar/hadoop/hadoop-3.4.0/tmp</value>
12.   </property>
14. </configuration>

复制代码

4. 打开 hdfs-site.xml，添加：

1. <configuration>
3.    <property>
4.       <name>dfs.replication</name>
5.       <value>1</value>
6.     </property>
7.   
8.     <property>
9.        <name>dfs.permissions</name>
10.        <value>false</value>
11.      </property>
12.    
13.     <property>
14.        <name>dfs.namenode.name.dir</name>
15.         <!--hadoop安装地址+/tmp/dfs/name，刚刚新建的文件夹-->
16.         <value>/usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs/name</value>
17.     </property>
19.      <property>
20.         <name>dfs.datanode.data.dir</name>
21.         <!--hadoop安装地址+/tmp/dfs/data，刚刚新建的文件夹-->
22.         <value>/usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs/data</value>
23.      </property>
25. </configuration>

复制代码

5. 查看 hadoop classpath, terminal 输入：

1. hadoop classpath

复制代码

打开 mapred-site.xml ，添加：

1. <configuration>
3.   <property>
4.      <name>mapreduce.framework.name</name>
5.      <value>yarn</value>
6.   </property>
8.   <property>
9.      <name>mapred.job.tracker</name>
10.      <value>localhost:9010</value>
11.   </property>
13.     <property>
14.       <name>mapreduce.application.classpath</name>
15.         <!--上面查到的 Hadoop classpath-->
16.       <value>/usr/local/Cellar/hadoop/hadoop-3.4.0/etc/hadoop:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/common/lib/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/common/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/hdfs:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/hdfs/lib/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/hdfs/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/mapreduce/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/yarn:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/yarn/lib/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/yarn/*</value>
17. </property>
18.   
20.   <property>
21.      <name>yarn.app.mapreduce.am.env</name>
22.      <!--hadoop安装地址-->
23.      <value>/usr/local/Cellar/hadoop/hadoop-3.4.0</value>
24.    </property>
25.    <property>
26.      <name>mapreduce.map.env</name>
27.      <!--hadoop安装地址-->
28.      <value>/usr/local/Cellar/hadoop/hadoop-3.4.0</value>
29.    </property>
30.    <property>
31.      <name>mapreduce.reduce.env</name>
32.      <!--hadoop安装地址-->
33.      <value>/usr/local/Cellar/hadoop/hadoop-3.4.0</value>
34.    </property>
35.    
37. </configuration>

复制代码

6. 打开 yarn-site.xml，添加：

1. <configuration>
3. <!-- Site specific YARN configuration properties -->
4.   <property>
5.     <name>yarn.nodemanager.aux-services</name>
6.     <value>mapreduce_shuffle</value>
7.   </property>
9.   <property>
10.     <name>yarn.resourcemanager.address</name>
11.     <value>localhost:9000</value>
12.    </property>
13.    
14.   <property>
15.     <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
16.     <value>100</value>
17.   </property>
18.   
19.   <property>
20.      <name>yarn.resourcemanager.hostname</name>
21.      <value>127.0.0.1</value>
22.    </property>
24. </configuration>

复制代码

五、启动 Hadoop

1、初始化

1. terminal 执行：

1. hdfs namenode -format

复制代码

2、启动 Hadoop

1、terminal 执行：

1. start-all.sh

复制代码

执行结果：

2. 查看启动状态：

1. jps

复制代码

3. 网页查看是否启动成功：
   查看 HDFS 启动环境：http://localhost:9870  

   查看 YARN 启动环境：http://localhost:8088
  

4. 关闭 hadoop，输入：

1. stop-all.sh

复制代码

六、测试 Hadoop

使用 wordcount 函数测试。

1. 在 hdfs 上创建一个文件夹 input，用于存放输入数据源：

1. hdfs dfs -mkdir -p input

复制代码

2. 本地创建一个数据源文件 word.txt，将其上传到 hdfs：

1. hadoop fs -put wordinput/word.txt input/word.txt

复制代码

3. 执行 wordcount 函数，进行计算：

1. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount input/ woutput

复制代码

显示成功：

4. 查看结果：
   登岸 HDFS：http://localhost:9870
  

找到创建的文件夹，选择输出文件夹：

选择 “part-r-00000”: 

可以下载，也可以直接查看结果：

七、配置汗青服务器

通过汗青服务器，可以很好的看到当前执行的job环境，还能回顾汗青job的环境，非常方便。

1. 在 /etc/hadoop 目次下，打开 mapred.xml，添加：

1.     <!--Job History server-->
2.    <property>
3.       <name>mapreduce.jobhistory.webapp.address</name>
4.       <value>localhost:19888</value>
5.    </property>

复制代码

如图所示：

2. 重新启动 yarn：

1. start-yarn.sh

复制代码

3. 启动汗青服务器，terminal 输入：

1. mapred --daemon start historyserver

复制代码

4. jps 命令查看是否启动：

5. 登岸网页查看：
   登岸配置的网页：http://localhost:19888/jobhistory
  

参考文章

---

Hadoop 安装教程 (Mac m1/m2版)_m1 安装hadoop-CSDN博客
Mac 安装Hadoop教程（HomeBrew安装）_mac安装hadoop-CSDN博客

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。