hadoop3.x单机摆设

 jdk

hadoop3.x必要jdk8以上的版本
hadoop3.x

从官网下载对应的tar.gz文件
配置环境变量

1. vim /etc/profile
3. # 需要替换为自己的安装地址！！！
4. export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
5. export PATH=$PATH:$JAVA_HOME/bin
6. export HADOOP_HOME=/opt/hadoop-3.3.6
7. export PATH=$PATH:$HADOOP_HOME/bin
8. export PATH=$PATH:$HADOOP_HOME/sbin
10. source /etc/profile

复制代码

hadoop env 文件配置

1. vim /opt/hadoop-3.3.6/etc/hadoop/hadoop-env.sh
3. # 需要更改为自己的安装地址
4. export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
5. export HADOOP=/opt/hadoop-3.3.6
7. # 用户也需要对应修改
8. export HDFS_NAMENODE_USER=root
9. export HDFS_DATANODE_USER=root
10. export HDFS_SECONDARYNAMENODE_USER=root
11. export YARN_RESOURCEMANAGER_USER=root
12. export YARN_NODEMANAGER_USER=root

复制代码

设置服务器免密登陆

1. hostname  # 输出应为 hcss-ecs-a5de（根据你的实际主机名）
2. sudo vim /etc/hosts
4. 127.0.0.1   localhost hcss-ecs-a5de
5. your_server_ip hcss-ecs-a5de
7. ping hcss-ecs-a5de  # 应能正常解析
9. ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
11. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
13. chmod 600 ~/.ssh/authorized_keys
14. chmod 700 ~/.ssh
16. ssh localhost  # 应无需密码直接登录

复制代码

如果没有进行免密配置，终极启动会报错：

1. root@hcss-ecs-a5de:/opt/hadoop-3.3.6/sbin# ./start-all.sh
2. Starting namenodes on [bigdataflowing]
3. bigdataflowing: ssh: Could not resolve hostname bigdataflowing: Temporary failure in name resolution
4. Starting datanodes
5. localhost: root@localhost: Permission denied (publickey,password).
6. Starting secondary namenodes [hcss-ecs-a5de]
7. hcss-ecs-a5de: root@hcss-ecs-a5de: Permission denied (publickey,password).
8. Starting resourcemanager
9. Starting nodemanagers
10. localhost: root@localhost: Permission denied (publickey,password).

复制代码

核心配置文件修改

注意：hcss-ecs-a5de 必要修改为你自己的服务器信息！！！

1. vim /opt/hadoop-3.3.6/etc/hadoop/core-site.xml
3. # 在 configuration 标签中，添加如下内容：
4. <property>
5.         <name>fs.defaultFS</name>
6.         <value>hdfs://hcss-ecs-a5de:9090</value>
7.     </property>
8.     <!-- 指定 hadoop 数据的存储目录 -->
9.     <property>
10.         <name>hadoop.tmp.dir</name>
11.         <value>/opt/hadoop3.3.6/hdfs/tmp</value>
12.     </property>
13.     <property>
14.         <name>hadoop.proxyuser.root.hosts</name>
15.         <value>*</value>
16.     </property>
17.     <property>
18.         <name>hadoop.proxyuser.root.groups</name>
19.         <value>*</value>
20.     </property>
22. # 修改 hdfs-site.xml，在 configuration 标签中，添加如下内容：
23. <property>
24.         <name>dfs.replication</name>      
25.         <value>1</value>
26.     </property>  
27.     <property>
28.         <name>dfs.namenode.name.dir</name>  
29.         <value>/opt/hadoop3.3.6/hdfs/name</value>  
30.         <final>true</final>
31.     </property>  
32.     <property>
33.         <name>dfs.datanode.data.dir</name>  
34.         <value>/opt/hadoop3.3.6/hdfs/data</value>  
35.         <final>true</final>
36.     </property>  
37.     <property>
38.         <name>dfs.http.address</name>
39.         <value>0.0.0.0:50070</value>
40.     </property>
41.     <property>
42.         <name>dfs.permissions</name>  
43.         <value>false</value>
44.     </property>
46. # 修改 mapre-site.xml，在 configuration 标签中，添加如下内容：
47. <property>
48.      <name>mapreduce.framework.name</name>
49.      <value>yarn</value>
50. </property>
52. # 修改 yarn-site.xml，在 configuration 标签中，添加如下内容：
53. <property>
54.     <name>yarn.nodemanager.aux-services</name>
55.     <value>mapreduce_shuffle</value>
56. </property>

复制代码

启动hadoop

1. hdfs namenode -format
2. cd /opt/hadoop-3.3.6/sbin/
3. ./start-all.sh

复制代码

正常不会有报错，同时使用 jps 命令查看，会有 Datanode，ResourceManager，SecondaryNameNode，NameNode，NodeManager 五个进程。
页面

http://1.94.234.103:50070/
http://1.94.234.103:8088/

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告