ToB企服应用市场:ToB评测及商务社交产业平台

标题: Mac 安装 Hadoop 详细教程（安装包 and Homebrew） [打印本页]
作者: 民工心事    时间: 2024-12-10 19:47
标题: Mac 安装 Hadoop 详细教程（安装包 and Homebrew）
一、JDK 安装

   JDK 版本高于 JDK 8，可能会导致 Hadoop ResourceManager 打不开，从而导致无法访问 localhost:8088。因此最好的方法，就是准备好 JDK 8 的环境，然后导入到 Hadoop 当中。
  参考这篇文章，以为写的很好：MAC安装与卸载jdk_mac 卸载jdk-CSDN博客


二、配置 SSH

配置 SSH，防止后续毗连失败。
1. 输入：
  1. ssh localhost
复制代码
成功则显示：

2. 假如失败，则在本地设置中，搜索“共享”，打开“长途登录”。

3. 打开 terminal：
(1) 假如之前没有天生过密钥，则天生：
  1. ssh-keygen -t rsa
复制代码
(2) 有密钥后，更改授权，免密登岸：
  1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3. chmod 600 ~/.ssh/authorized_keys
复制代码

三、Hadoop下载

方法一：安装包下载

1. 登岸网址：hadoop安装毗连
2. 选择自己要的版本下载，我下的是最新版：

3. 点进去后，选择 tar.gz:

4. 点击，下载到本地，然后解压，放在自己需要的目次中，我放在了
  1. /usr/local/Cellar/hadoop/hadoop-3.4.0
复制代码
方法二：Homebrew 安装

1. 本地先安装 Homebrew，参考这篇文章：Mac安装Homebrew
2. 安装 Hadoop：
  1. brew install hadoop
复制代码
PS: 这种安装方式可能会少 lib/native 文件夹，详细原因未知。

四、配置 Hadoop

1、 配置 Hadoop 全局变量：

   注意：这里是在主terminal配置。
  1. 打开 terminal，输入：
  1. vim ～/.bash_profile
复制代码
2. 在文件中输入：
  1. # Hadoop
  2. # 你本机的Hadoop存放地址
  3. export HADOOP_HOME=/usr/local/Cellar/hadoop/hadoop-3.4.0
  5. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
  6. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  7. export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
  8. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  9. export HADOOP_INSTALL=$HADOOP_HOME
  10. export HADOOP_COMMON_HOME=$HADOOP_HOME
  11. export HADOOP_HDFS_HOME=$HADOOP_HOME
  12. export YARN_HOME=$HADOOP_HOME
复制代码
3. 保存后，使之生效，这样便可在全局使用 hadoop 启动命令：
  1. source ～/.bash_profile
复制代码
2、配置 Hadoop 中的文件

打开 hadoop 文件夹，再打开 /etc/hadoop 文件夹，修改以下文件：
1. 打开 hadoop-env.sh，添加 java_home 的位置：

使用这句话来查询 java_home 的位置：
  1. /usr/libexec/java_home -V
复制代码
2. 我的 hadoop 文件夹位置是：
  1. /usr/local/Cellar/hadoop/hadoop-3.4.0
复制代码
使用 terminal，在 hadoop 文件夹中新建几个文件夹：
  1. mkdir /usr/local/Cellar/hadoop/hadoop-3.4.0/tmp
  2. mkdir /usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs
  3. mkdir /usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs/name
  4. mkdir /usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs/data
复制代码
3. 打开 core-site.xml，添加：
  1. <configuration>
  3.   <property>
  4.     <name>fs.defaultFS</name>
  5.     <value>hdfs://localhost:8020</value>
  6.   </property>
  8.   <property>
  9.     <name>hadoop.tmp.dir</name>
  10.     <!--hadoop安装地址+/tmp，刚刚新建的文件夹-->
  11.     <value>/usr/local/Cellar/hadoop/hadoop-3.4.0/tmp</value>
  12.   </property>
  14. </configuration>
复制代码
4. 打开 hdfs-site.xml，添加：
  1. <configuration>
  3.    <property>
  4.       <name>dfs.replication</name>
  5.       <value>1</value>
  6.     </property>
  7.   
  8.     <property>
  9.        <name>dfs.permissions</name>
  10.        <value>false</value>
  11.      </property>
  12.    
  13.     <property>
  14.        <name>dfs.namenode.name.dir</name>
  15.         <!--hadoop安装地址+/tmp/dfs/name，刚刚新建的文件夹-->
  16.         <value>/usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs/name</value>
  17.     </property>
  19.      <property>
  20.         <name>dfs.datanode.data.dir</name>
  21.         <!--hadoop安装地址+/tmp/dfs/data，刚刚新建的文件夹-->
  22.         <value>/usr/local/Cellar/hadoop/hadoop-3.4.0/tmp/dfs/data</value>
  23.      </property>
  25. </configuration>
复制代码
5. 查看 hadoop classpath, terminal 输入：
  1. hadoop classpath
复制代码
打开 mapred-site.xml ，添加：
  1. <configuration>
  3.   <property>
  4.      <name>mapreduce.framework.name</name>
  5.      <value>yarn</value>
  6.   </property>
  8.   <property>
  9.      <name>mapred.job.tracker</name>
  10.      <value>localhost:9010</value>
  11.   </property>
  13.     <property>
  14.       <name>mapreduce.application.classpath</name>
  15.         <!--上面查到的 Hadoop classpath-->
  16.       <value>/usr/local/Cellar/hadoop/hadoop-3.4.0/etc/hadoop:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/common/lib/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/common/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/hdfs:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/hdfs/lib/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/hdfs/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/mapreduce/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/yarn:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/yarn/lib/*:/usr/local/Cellar/hadoop/hadoop-3.4.0/share/hadoop/yarn/*</value>
  17. </property>
  18.   
  20.   <property>
  21.      <name>yarn.app.mapreduce.am.env</name>
  22.      <!--hadoop安装地址-->
  23.      <value>/usr/local/Cellar/hadoop/hadoop-3.4.0</value>
  24.    </property>
  25.    <property>
  26.      <name>mapreduce.map.env</name>
  27.      <!--hadoop安装地址-->
  28.      <value>/usr/local/Cellar/hadoop/hadoop-3.4.0</value>
  29.    </property>
  30.    <property>
  31.      <name>mapreduce.reduce.env</name>
  32.      <!--hadoop安装地址-->
  33.      <value>/usr/local/Cellar/hadoop/hadoop-3.4.0</value>
  34.    </property>
  35.    
  37. </configuration>
复制代码
6. 打开 yarn-site.xml，添加：
  1. <configuration>
  3. <!-- Site specific YARN configuration properties -->
  4.   <property>
  5.     <name>yarn.nodemanager.aux-services</name>
  6.     <value>mapreduce_shuffle</value>
  7.   </property>
  9.   <property>
  10.     <name>yarn.resourcemanager.address</name>
  11.     <value>localhost:9000</value>
  12.    </property>
  13.    
  14.   <property>
  15.     <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
  16.     <value>100</value>
  17.   </property>
  18.   
  19.   <property>
  20.      <name>yarn.resourcemanager.hostname</name>
  21.      <value>127.0.0.1</value>
  22.    </property>
  24. </configuration>
复制代码
五、启动 Hadoop

1、初始化

1. terminal 执行：
  1. hdfs namenode -format
复制代码
2、启动 Hadoop

1、terminal 执行：
  1. start-all.sh
复制代码
执行结果：

2. 查看启动状态：
  1. jps
复制代码

3. 网页查看是否启动成功：
   查看 HDFS 启动环境：http://localhost:9870  

   查看 YARN 启动环境：http://localhost:8088
  

4. 关闭 hadoop，输入：
  1. stop-all.sh
复制代码

六、测试 Hadoop

使用 wordcount 函数测试。

1. 在 hdfs 上创建一个文件夹 input，用于存放输入数据源：
  1. hdfs dfs -mkdir -p input
复制代码
2. 本地创建一个数据源文件 word.txt，将其上传到 hdfs：
  1. hadoop fs -put wordinput/word.txt input/word.txt
复制代码
3. 执行 wordcount 函数，进行计算：
  1. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount input/ woutput
复制代码
显示成功：

4. 查看结果：
   登岸 HDFS：http://localhost:9870
  

找到创建的文件夹，选择输出文件夹：

选择 “part-r-00000”: 

可以下载，也可以直接查看结果：


七、配置汗青服务器

通过汗青服务器，可以很好的看到当前执行的job环境，还能回顾汗青job的环境，非常方便。

1. 在 /etc/hadoop 目次下，打开 mapred.xml，添加：
  1.     <!--Job History server-->
  2.    <property>
  3.       <name>mapreduce.jobhistory.webapp.address</name>
  4.       <value>localhost:19888</value>
  5.    </property>
复制代码
如图所示：

2. 重新启动 yarn：
  1. start-yarn.sh
复制代码
3. 启动汗青服务器，terminal 输入：
  1. mapred --daemon start historyserver
复制代码
4. jps 命令查看是否启动：

5. 登岸网页查看：
   登岸配置的网页：http://localhost:19888/jobhistory
  


参考文章

Hadoop 安装教程 (Mac m1/m2版)_m1 安装hadoop-CSDN博客
Mac 安装Hadoop教程（HomeBrew安装）_mac安装hadoop-CSDN博客

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4