Windows 安装hadoop 3.4

目录

安装
下载
设置环境变量
配置
修改：hadoop-env.cmd
修改：core-sit.xml
修改：hdfs-site.xml
修改：mapred-site.xml
修改：yarn-site.xml
运行
格式化HDFS文件系统
启动：hadoop
启动：yarn
验证

---

安装

前置条件：必要安装JDK8（切身经历，不要用21版本的jdk）
下载

地址：Apache Hadoop

我下载的是3.4.0最新版
下载后，解压到E盘，路径：E:\hadoop-3.4.0
设置环境变量

添加HADOOP_HOME变量

添加到path

配置

进到目录：E:\hadoop-3.4.0\etc\hadoop
修改：hadoop-env.cmd

1. set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_351
3. 上述这样设置可能会出问题：Hadoop Error: JAVA_HOME is incorrectly set.
4. 更改后：
5. set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351
7. PS：PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写 。

复制代码

修改：core-sit.xml

1. <configuration>
2.   <property>
3.     <name>fs.defaultFS</name>
4.     <value>hdfs://localhost:9000</value>
5.   </property>
6. </configuration>

复制代码

PS：此文件中已有<configuration>标签，可以直接覆盖掉
修改：hdfs-site.xml

配置namenode和datanode的存放位置，可以自定义

1. <configuration>
2.   <property>
3.     <name>dfs.replication</name>
4.     <value>1</value>
5.   </property>
6.   <property>
7.     <name>dfs.namenode.name.dir</name>
8.     <value>file:///C:/hadoop_data/hdfs/namenode</value>
9.   </property>
10.   <property>
11.     <name>dfs.datanode.data.dir</name>
12.     <value>file:///C:/hadoop_data/hdfs/datanode</value>
13.   </property>
14. </configuration>

复制代码

PS：此文件中已有<configuration>标签，可以直接覆盖掉
修改：mapred-site.xml

1. <configuration>   
2.   <property>      
3.     <name>mapreduce.framework.name</name>      
4.     <value>yarn</value>   
5.   </property>
6. </configuration>

复制代码

PS：此文件中已有<configuration>标签，可以直接覆盖掉
修改：yarn-site.xml

1. <configuration>
2.         <property>
3.                 <name>yarn.nodemanager.aux-services</name>
4.                 <value>mapreduce_shuffle</value>
5.         </property>
6.         <property>
7.                 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
8.                 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
9.         </property>
10. </configuration>

复制代码

PS：此文件中已有<configuration>标签，可以直接覆盖掉
运行

格式化HDFS文件系统

1. hdfs namenode -format

复制代码

会启动失败
报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries
缘故原由：Windows下运行hadoop，必要添加插件【winutils.exe】
插件下载地址：GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows
点进去某个版本，里面就有这个exe

下载下来，放到：E:\hadoop-3.4.0\bin目录下
启动：hadoop

进入目录：E:\hadoop-3.4.0\sbin

1. start-dfs.cmd

复制代码

可能出现的标题

1. java.lang.UnsatisfiedLinkError: 'boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String, int)'

复制代码

缘故原由：缺少hadoop.dll文件
办理：GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows 在这里面找对应版本，然后就可以看到

下载后，放到E:\hadoop-3.4.0\bin目录下
启动：yarn

进入目录：E:\hadoop-3.4.0\sbin

1. start-yarn.cmd

复制代码

可能出现的标题：Resourcemanager启动报错，我这边是由于使用了jdk21导致的，卸载后，使用jdk8就行了。
验证

都启动不报错后
输入：http://localhost:9870/，查察hadoop的控制台

输入：http://localhost:8088，查察资源管理

至此，hadoop 4.3已成功安装！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。