Hadoop 单机模式（Standalone Mode）部署与 WordCount 测试

通过本次实验，成功搭建了 Hadoop 单机情况并运行了底子 MapReduce 程序，为后续分布式计算学习奠基了底子。

• 掌握 Hadoop 单机模式的安装与配置方法。
  
• 认识 Hadoop 情况变量的配置及 Java 依赖管理。
  
• 利用 Hadoop 自带的 WordCount 示例程序进行简单的 MapReduce 计算，验证安装是否成功。
  

情况预备

 操作体系：保举 Linux（如 Ubuntu/CentOS）或 macOS（Windows 需通过 WSL 或假造机）
 Java 情况：
安装 JDK 1.8+（Hadoop 3.x 需 Java 8 或 11）
 如果安装过，必要卸载从前的包，而且删掉情况变量，然后干掉目次
如果未安装过可以直接进行下一步操作

1. # 查询已安装的 JDK 包
2. rpm -qa | grep 'java\|jdk\|gcj\|jre'
4. # 卸载指定包（替换为实际查询结果）
5. yum -y remove java*
7. # 修改环境变量，删掉环境那两行
8. vi /etc/profile
10. #使其生效
11. source /etc/profile
13. # 清空opt目录下面的东西
14. cd /opt/
15. rm -rf *

复制代码

安装jdk

1.上传jdk压缩包jdk-8u181-linux-x64.tar.gz
没有的可从前往飞书直接下载我的
Docs
2.解压缩后目次如下，删除压缩包节省空间，并改名方便操作

1. tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/
3. rm -rf jdk-8u181-linux-x64.tar.gz
5. mv "jdk1.8.0_181" "jdk1.8"

复制代码

 

3.配置情况变量

1. sudo vi /etc/profile
3. export JAVA_HOME=/opt/jdk1.8  #填写自己的jdk路径
4. export PATH=$JAVA_HOME/bin:$PATH

复制代码

4.情况收效

1. source /etc/profile

复制代码

5.检察版本确认安装

1. java -version

复制代码

安装hadoop

1.没有wegt命令的自行下载

1. yum -y install wget

复制代码

2.回到opt目次（和jdk一个目次），下载hadoop

1. cd /opt
2. wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

复制代码

3.检查下载再解压，解压后可以删掉压缩包节省空间，进行改名

1. # 检查是否wget成功
2. ls
3. # 解压缩
4. tar -zxvf hadoop-3.3.6.tar.gz -C /opt/
6. # 删除压缩包节省空间
7. rm -rf hadoop-3.3.6.tar.gz
9. #修改名字
10. mv /opt/hadoop-3.3.6 /opt/hadoop

复制代码

4.配置情况变量，使其收效

1. # 配置环境变量（编辑 ~/.bashrc 或 ~/.zshrc)
2. vim ~/.bashrc
4. export HADOOP_HOME=/opt/hadoop
5. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
7. # 使配置生效
8. source ~/.bashrc

复制代码

5.检查hadoop版本，验证是否安装成功

1. hadoop version

复制代码

进行测试

计算test.txt（计算就是统计文本单词重复出现多少次）
1.创建测试脚本

1. # 创建输入目录（注意是创建在在root目录下）
2. mkdir -p ~/hadoop-input
3. # 写入测试文本
4. echo "Hello World Hello Hadoop" > ~/hadoop-input/test.txt
5. # 检查是否写入
6. cd ~
7. ls
8. cd hadoop-input
9. ls
10. cat test.txt

复制代码

2.检察hadoop提供的案例（只是告诉你hadoop案例放在哪里而已，可以不操作）

1. cd /opt/hadoop
2. #查看目录，里面有个share，存放这hadoop的默认案例
3. cd share/hadoop/mapreduce
4. ls

复制代码

3. 实行 WordCount，出现successfully字样，此时统计完成

1. hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar \
2.   wordcount ~/hadoop-input ~/hadoop-output

复制代码

4.检察统计结果

1. cd ~
2. cd hadoop-output
3. ls
4. cat part-r-00000

复制代码

单机部署完成

实验总结

• 成功点：
  
  
  
  • 完成 JDK 和 Hadoop 的安装与配置。
    
  • 验证了 Hadoop 单机模式的基本功能（MapReduce 计算）。
    
  
  
• 留意事项：
  
  
  
  • 需确保情况变量配置正确（如 JAVA_HOME、HADOOP_HOME）。
    
  • 输入/输出目次需提前创建，避免权限题目。
    
  
  
• 后续扩展：
  
  
  
  • 实验伪分布式模式（Pseudo-Distributed Mode）部署。
    
  • 利用其他 Hadoop 示例（如 grep、pi）进行测试。
    
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。