ubuntu22.04下Hadoop单机模式伪分布式安装过程【全网最详细】 ...

ubuntu22.04下Hadoop单机模式伪分布式安装过程

一、Hodoop伪分布式搭建

1 创建新用户，首先切换为root用户，添加新用户​​​​​​​hadoop

1. sudo useradd -m hadoop -s /bin/bash

复制代码

2设置暗码

1. sudo passwd hadoop

复制代码

3为新用户赋予root权限

1. sudo adduser hadoop sudo

复制代码

3然后切换到Hodoop用户，实行更新命令

1. sudo apt-get update
2. sudo apt-get upgrade

复制代码

4部分linux系统会自带vim编辑器，但若在终端无法启动该编辑器，则需要安装以待后续编辑配置文件，接下来跳出的提示回复Y即可

1. sudo apt-get install vim

复制代码

参考 vim介绍
二、配置ssh

   根据Hadoop分布式系统的特性，在任务筹划分发、心跳监测、任务管理、多租户管理等功能上，需要通过SSH(Secure Shell)进行通讯，所以必须安装配置SSH。另因为Hadoop没有提供SSH输入暗码登录的形式，因此需要将所有机器配置为NameNode可以无暗码登录的状态
  1.安装ssh服务

1. sudo apt-get install openssh-server

复制代码

2.ssh本地连接

1. ssh localhost

复制代码

3.设置无暗码登录，进行无暗码登录的设置，首先先退出刚刚ssh localhost
的连接

1. exit

复制代码

4.接下来生成暗码并加入授权

1. cd ~/.ssh/
2. ssh-keygen -t rsa //遇到提示，一路回车即可
3. cat ./id_rsa.pub >> ./authorized_keys //加入授权

复制代码

##三、配置Java情况，
3.1在虚拟机中安装jdk，安装jdk之前，需要先查抄一下有没有安装过jdk java -version查看有没有，如果有，请卸载干净再下
3.2.输入命令进行命令行安装

1. sudo apt install openjdk-8-jre-headless

复制代码

3.3安装完后，输入echo $JAVA_HOME查看jdk目次，这步很关键
我的如图所示

3.4通过vim编辑器打开情况变量的设置文件：

1. sudo vim ~/.bashrc

复制代码

3.5首先到达文件底部，按o字母在当前行的下一行添加以下语句

1. export JAVA_HOME=
2. export JRE_HOME=${JAVA_HOME}/jre
3. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
4. export PATH=${JAVA_HOME}/bin:$PATH

复制代码

3.6按Esc键进入普通模式，然后输入**:wq**保存修改。然后使情况变量生效

1. source ~/.bashrc

复制代码

3.7下载最新版Hadoop3.4.0
下载地址 Hadoop

3.8进入解压包存放的文件夹，右键属性查看压缩包的绝对路径，然后解压至/usr/local目次下

1. sudo tar -zxf /home/hadoop/下载/hadoop-3.4.0.tar.gz -C /usr/local

复制代码

3.9进入刚刚解压后存放的目次下

1. cd /usr/local/

复制代码

3.10将该文件夹的名字重命名为hadoop，屏蔽掉版本号的信息，使得后续命令行输入更为简便

1. sudo mv ./hadoop-3.4.0/ ./hadoop

复制代码

3.11将已重命名的该文件夹的拥有者，指定给用户hadoop，缺少这一步，将导致后续操纵特别是运行Hadoop时，反复因权限不足而制止：

1. sudo chmod 777 -R /usr/local/hadoop

复制代码

  R:对现在目次下的所有档案与子目次进行相同的权限变动(即以递回的方式逐个变动)
  777:高权限（读、写、实行）
  3.12 hadoop现实运行时仍会出现找不到java-jdk的现象，故再对hadoop的情况文件进行修改，进入目次：

1. cd ./hadoop/etc/hadoop

复制代码

3.13使用vim编辑器，打开情况变量文件

1. sudo vim ~/.bashrc

复制代码

3.14按字母o进入插入模式在当前行的下一行添加该语句

1. #HADOOP VARIABLES START
2. export HADOOP_INSTALL=/usr/local/hadoop
3. export PATH=$PATH:$HADOOP_INSTALL/bin
4. export PATH=$PATH:$HADOOP_INSTALL/sbin
5. export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
6. export HADOOP_COMMON_HOME=$HADOOP_INSTALL
7. export HADOOP_HDFS_HOME=$HADOOP_INSTALL
8. export YARN_HOME=$HADOOP_INSTALL
9. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
10. export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
11. #HADOOP VARIABLES END

复制代码

3.15按Esc键退出，然后输入**:wq**保存修改。然后使情况变量生效：

1. source ~/.bashrc

复制代码

3.16hadoop框架已经搭建好了，可以通过调用版本号进行测试hadoop是否可用，正确搭建应该能看到hadoop的版本号等信息：

1. cd /usr/local/
2. hadoop./bin/hadoop version

复制代码

四、配置文件

1.打开hadoop文件夹下的hadoop文件中，配置hadoop-env.sh

1. sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

复制代码

添加如下代码

1. export JAVA_HOME=**改成自己的jdk路径**
2. export HADOOP=/usr/local/hadoop
3. export PATH=$PATH:/usr/local/hadoop/bin

复制代码

2.先打开 core-site.xml文件，将替换为以下内容

1. sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

复制代码

添加如下语句

1. <configuration>
2.         <property>
3.              <name>hadoop.tmp.dir</name>
4.              <value>file:/usr/local/hadoop/tmp</value>
5.              <description>Abase for other temporary directories.</description>
6.         </property>
7.         <property>
8.              <name>fs.defaultFS</name>
9.              <value>hdfs://localhost:9000</value>
10.         </property>
11. </configuration>

复制代码

3.打开hdfs-site.xml文件：hdfs-site.xml进行同样的替换操纵

1. sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

复制代码

1. <configuration>
2.         <property>
3.              <name>dfs.replication</name>
4.              <value>1</value>
5.         </property>
6.         <property>
7.              <name>dfs.namenode.name.dir</name>
8.              <value>file:/usr/local/hadoop/tmp/dfs/name</value>
9.         </property>
10.         <property>
11.              <name>dfs.datanode.data.dir</name>
12.              <value>file:/usr/local/hadoop/tmp/dfs/data</value>
13.         </property>
14. </configuration>

复制代码

• 打开yarn-env.sh，配置yarn-env.sh文件，添加以下代码
  

1. sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

复制代码

添加自己变量

1. JAVA_HOME=和上面的变量地址一样

复制代码

6.配置yarn-site.xml，将替换为以下内容

1. sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

复制代码

1. <configuration>
2. <!-- Site specific YARN configuration properties -->
3.     <property>
4.         <name>yarn.nodemanager.aux-services</name>
5.         <value>mapreduce_shuffle</value>
6.     </property>
7.     <property>
8.         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
9.         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
10.     </property>
11.     <property>
12.         <name>yarn.resourcemanager.address</name>
13.         <value>127.0.0.1:8032</value>
14.     </property>
15.     <property>
16.         <name>yarn.resourcemanager.scheduler.address</name>
17.         <value>127.0.0.1:8030</value>
18.     </property>
19.     <property>
20.         <name>yarn.resourcemanager.resource-tracker.address</name>
21.         <value>127.0.0.1:8031</value>
22.     </property>
23. </configuration>

复制代码

五 启动HDFS伪分布式模式

格式化namenode

1. hdfs namenode -format

复制代码

表现信息内若包含以下内容successfully formatted，则阐明乐成格式化

2.启动hdfs

1. start-all.sh

复制代码

3.表现进程

1. jps

复制代码

4.有六个进程表现正确

5.打开浏览器localhost:9870/

注：因为安装的是3.x版本，所以是9870，而不是57007，这个是2.x版本的
6.打开浏览器http://localhost:8088/

7.乐成安装，制止Hadoop

1. stop-all.sh

复制代码

参考原文链接：https://blog.csdn.net/weixin_50767513/article/details/128078096进行详细补充和修改，有安装不了的可以评论，我帮助办理

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。