qidao123.com技术社区-IT企服评测·应用市场

标题: Hadoop 单机模式（Standalone Mode）部署与 WordCount 测试 [打印本页]

作者: 梦应逍遥 时间: 2025-5-2 17:39
标题: Hadoop 单机模式（Standalone Mode）部署与 WordCount 测试
通过本次实验，成功搭建了 Hadoop 单机情况并运行了底子 MapReduce 程序，为后续分布式计算学习奠基了底子。

掌握 Hadoop 单机模式的安装与配置方法。
认识 Hadoop 情况变量的配置及 Java 依赖管理。
利用 Hadoop 自带的 WordCount 示例程序进行简单的 MapReduce 计算，验证安装是否成功。

情况预备

操作体系：保举 Linux（如 Ubuntu/CentOS）或 macOS（Windows 需通过 WSL 或假造机）
Java 情况：
安装 JDK 1.8+（Hadoop 3.x 需 Java 8 或 11）
如果安装过，必要卸载从前的包，而且删掉情况变量，然后干掉目次
如果未安装过可以直接进行下一步操作

# 查询已安装的 JDK 包
rpm -qa | grep 'java\|jdk\|gcj\|jre'
# 卸载指定包（替换为实际查询结果）
yum -y remove java*
# 修改环境变量，删掉环境那两行
vi /etc/profile
#使其生效
source /etc/profile
# 清空opt目录下面的东西
cd /opt/
rm -rf *

复制代码

安装jdk

1.上传jdk压缩包jdk-8u181-linux-x64.tar.gz
没有的可从前往飞书直接下载我的
Docs
2.解压缩后目次如下，删除压缩包节省空间，并改名方便操作

tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/
rm -rf jdk-8u181-linux-x64.tar.gz
mv "jdk1.8.0_181" "jdk1.8"

复制代码

3.配置情况变量

sudo vi /etc/profile
export JAVA_HOME=/opt/jdk1.8 #填写自己的jdk路径
export PATH=$JAVA_HOME/bin:$PATH

复制代码

4.情况收效

source /etc/profile

复制代码

5.检察版本确认安装

java -version

复制代码

安装hadoop

1.没有wegt命令的自行下载

yum -y install wget

复制代码

2.回到opt目次（和jdk一个目次），下载hadoop

cd /opt
wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

复制代码

3.检查下载再解压，解压后可以删掉压缩包节省空间，进行改名

# 检查是否wget成功
ls
# 解压缩
tar -zxvf hadoop-3.3.6.tar.gz -C /opt/
# 删除压缩包节省空间
rm -rf hadoop-3.3.6.tar.gz
#修改名字
mv /opt/hadoop-3.3.6 /opt/hadoop

复制代码

4.配置情况变量，使其收效

# 配置环境变量（编辑 ~/.bashrc 或 ~/.zshrc)
vim ~/.bashrc
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 使配置生效
source ~/.bashrc

复制代码

5.检查hadoop版本，验证是否安装成功

hadoop version

复制代码

进行测试

计算test.txt（计算就是统计文本单词重复出现多少次）
1.创建测试脚本

# 创建输入目录（注意是创建在在root目录下）
mkdir -p ~/hadoop-input
# 写入测试文本
echo "Hello World Hello Hadoop" > ~/hadoop-input/test.txt
# 检查是否写入
cd ~
ls
cd hadoop-input
ls
cat test.txt

复制代码

2.检察hadoop提供的案例（只是告诉你hadoop案例放在哪里而已，可以不操作）

cd /opt/hadoop
#查看目录，里面有个share，存放这hadoop的默认案例
cd share/hadoop/mapreduce
ls

复制代码

3. 实行 WordCount，出现successfully字样，此时统计完成

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar \
wordcount ~/hadoop-input ~/hadoop-output

复制代码

4.检察统计结果

cd ~
cd hadoop-output
ls
cat part-r-00000

复制代码

单机部署完成

实验总结

成功点：
- 完成 JDK 和 Hadoop 的安装与配置。
- 验证了 Hadoop 单机模式的基本功能（MapReduce 计算）。
留意事项：
- 需确保情况变量配置正确（如 JAVA_HOME、HADOOP_HOME）。
- 输入/输出目次需提前创建，避免权限题目。
后续扩展：
- 实验伪分布式模式（Pseudo-Distributed Mode）部署。
- 利用其他 Hadoop 示例（如 grep、pi）进行测试。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)