Hadoop在window下安装实践

理论知识点击检察 Hadoop的入门学习（理论知识）-CSDN博客

一、下载hadoop-3.3.5安装包以及widows工具包

Index of /dist/hadoop/common

将压缩包解压到D盘下的hadoop-3.3.5目次下
下载winutils工具包
https://github.com/steveloughran/winutils

解压后将hadoop-3.3.5中的bin目次中的文件完全更换D:\hadoop-3.3.5\bin
二、jdk安装

Hadoop必要依靠JDK，思量其路径中不能有空格，故直接安装如下目次
将jdk拷贝到D:\hadoop-3.3.5下（这里是为了hadoop设置使用，不能使用体系安装的jdk缘故原由是由于jdk安装在默认安装在了C:\Program Files下，此处路径有空格，无法使用）

三、设置hadoop环境变量

添加HADOOP_HOME= D:\hadoop-3.3.5
在Path体系环境变量下添加：%HADOOP_HOME%\bin

四、Hadoop设置

1、修改D:\hadoop-3.3.5\etc\hadoop\core-site.xml设置:

1. <configuration>
2.    <property>
3.        <name>fs.default.name</name>
4.        <value>hdfs://localhost:9000</value>
5.    </property>
6.     <!-- 指定hadoop数据的存储目录  -->
7.    <property>
8.         <name>hadoop.tmp.dir</name>
9.         <value>D:\hadoop-3.3.5\data</value>
10.    </property>
11. </configuration>

复制代码

2. 修改D:\hadoop-3.3.5\etc\hadoop\mapred-site.xml设置:

1. <configuration>
2.     <property>
3.         <name>mapreduce.framework.name</name>
4.         <value>yarn</value>
5.    </property>
6. </configuration>

复制代码

3、修改D:\hadoop-3.3.5\etc\hadoop hdfs-site.xml设置:

1. <configuration>
2.      <!-- 这个参数设置为1，因为是单机版hadoop -->
3.     <property>
4.         <name>dfs.replication</name>
5.         <value>1</value>
6.     </property>
7.     <property>
8.          <name>dfs.permissions</name>
9.          <value>false</value>
10.     </property>
11.    <property>
12.        <name>dfs.namenode.name.dir</name>
13.        <value>D:\hadoop-3.3.5\data\namenode</value>
14.    </property>
15.     <property>
16.         <name>fs.checkpoint.dir</name>
17.         <value>D:\hadoop-3.3.5\data\snn</value>
18.     </property>
19.     <property>
20.         <name>fs.checkpoint.edits.dir</name>
21.         <value>D:\hadoop-3.3.5\data\snn</value>
22.     </property>
23.     <property>
24.        <name>dfs.datanode.data.dir</name>
25.        <value>D:\hadoop-3.3.5\data\datanode</value>
26.    </property>
28.     <!-- nn web 端访问地址 -->
29.     <property>
30.         <name>dfs.namenode.http-address</name>
31.         <value>localhost:9870</value>
32.     </property>
33.     <!-- 2nn web端访问地址  -->
34.     <property>
35.         <name>dfs.namenode.secondary.http-address</name>
36.         <value>localhost:9868</value>
37.     </property>
38. </configuration>

复制代码

4、修改D:\hadoop-3.3.5\etc\hadoop yarn-site.xml设置:

1. <configuration>
2.     <!-- Site specific YARN configuration properties -->
3.     <property>
4.         <name>yarn.nodemanager.aux-services</name>
5.         <value>mapreduce_shuffle</value>
6.     </property>
7.     <property>
8.         <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> 
9.         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
10.     </property>
11. </configuration>

复制代码

在D:\hadoop-3.3.5目次下创建data目次，作为数据存储路径
在D:\hadoop-3.3.5目次下创建namenode目路

6、修改D:\hadoop-3.3.5\etc\hadoop\ hadoop-env.cmd设置,找到
set JAVA_HOME=%JAVA_HOME%"更换为" set JAVA_HOME=D:\hadoop-3.3.5\jdk1.8.0_212 "
五、查抄是否安装乐成

cmd窗口下输入 hadoop.cm version

六、启动服务

1、在D:\hadoop-3.3.5\bin目次实验，格式化HDFS目次
hdfs namenode -format

2.通过start-all.cmd启动服务，必须是管理员身份（下令在D:\hadoop-3.3.5\sbin目次下）

此时可以看到同时启动了如下4个服务：

Hadoop Namenode、Hadoop datanode

YARN Resourc Manager、YARN Node Manager 

在cmd窗口输入jps查抄

七、HDFS应用

访问：http://127.0.0.1:8088/ 即可检察集群全部节点状态：

访问 http://localhost:9870/ 即可检察文件管理页面：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金