Hadoop的安装和使用-2024年08月01日

1.创建Hadoop用户

如果安装Ubuntu的时候不是用的“hadoop”用户，那么需要增加一个名为 hadoop的用户起首按ctrl+alt+t打开终端窗口，输入如下命令创建新用户

1. $ sudo useradd -m hadoop -s /bin/bash

复制代码

上面这条命令创建了可以登陆的hadoop 用户，并使用/bin/bash 作为shell接着使用如下命令设置密码，可简单设置为hadoop，按提示输入两次密码，密码不能够包罗用户名，不能太简单，不能少于8位，不能使用password作为密码。

1. $ sudo passwd hadoop

复制代码

可为hadoop用户增加管理员权限，方便部署，避免一些对新手来说比力棘手的权限问题，这一步实行完肯定他要显示正在将hadoop到场。。。即为成功

1. $ sudo adduser hadoop sudo

复制代码

hadoop账户创建成功后，切换当前用户至hadoop，再继承往下操作注意注意
2.SSH登陆权限设置

SSH为Secure Shell的缩写，是建立在应用层和传输层基础上的安全协议。SSH是目前较可靠、专为远程登录会话和其他网络服务提供安全性的协议。
SSH是由客户端和服务端的软件组成，服务端是一个守护进程(daemon)，它在背景运行并响应来自客户端的连接请求，客户端包罗ssh程序以及像scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输)等其他的应用程序
1.安装vim

1. $sudo apt-get install vim

复制代码

2.下载SSH服务端和客户端

1. $sudo apt-get install openssh-server

复制代码

3.登录本机

1. $ssh localhost   //输入 'yes'，登录本机，每次登录都需密码

复制代码

4.设置无密码登录

1. $exit      //退出登录
2. $cd  ~/.ssh/ //切换到ssh目录
3. $ssh-keygen -t rsa //生成密钥，之后在这会按几次回车，看下图
4. $cat ./id_rsa.pub >> ./authorized_keys //将密钥添加到公钥中

复制代码

5.无密码登录

1. $ssh localhost  //本次登录无需输入密码

复制代码

3.java的安装

Java情况可选择Oracle的JDK，或是OpenJDK可以在Ubuntu中直接通过命令安装OpenJDK8
1.起首更新下包

1. sudo apt update

复制代码

2.安装jdk1.8

1. sudo apt install openjdk-8-jdk

复制代码

3.验证安装

1. java -version

复制代码

4.查看你安装目次

1. update-alternatives --list java

复制代码

5.将 Java 可实行文件的路径添加到 PATH 情况变量中：

1. echo 'export PATH="$PATH:/usr/lib/jvm/java-8-openjdk-amd64/bin"' >> ~/.bashrc
2. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre

复制代码

6.重新加载情况变量

1. source ~/.bashrc

复制代码

7.pwd查看自己当前路径

8.在此目次下新建一个文本，写个简单的java代码，做测试

1. public class test {
2.         public static void main(String[] args) {
3.                 for(int i = 0; i < 10; i++) {
4.                         System.out.print(i);
5.                 }
6.         }
7. }

复制代码

9.修改格式为java文件

10.打开命令终端 ctrl+alt+t，实行编译命令，代码没错的情况下，会在同目次下多一个文件叫test.class

1. javac test.java

复制代码

11.实行编译文件

1. java test

复制代码

12.至此安装及检测完成
4.Hadoop单机安装设置

1.用linux自带的firefox欣赏器访问Hadoop官网，从Apach官网上下载Hadoop 2.10.2版本
https://downloads.apache.org/hadoop/common/hadoop-2.10.2/hadoop-2.10.2.tar.gz

这里可以看到下载的非常慢，可以使用国内镜像下载
https://downloads.apache.org/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

2.解压安装Hadoop2.10.2

1. $cd ~/下载  //切换到Hadoop安装包的位置
2. $sudo tar -zxf  hadoop-2.10.2.tar.gz -C /usr/local   //将Hadoop解压到/usr/local目录下
3. $cd /usr/local
4. $sudo mv ./hadoop-2.10.1/ ./hadoop     //将目录名改为hadoop
5. $sudo chown -R hadoop ./hadoop         //修改目录权限

复制代码

3.查抄是否可用

1. $ cd /usr/local/hadoop
2. $ ./bin/hadoop version

复制代码

显示下图即为成功，如果显示JAVA_HOME找不到，自己回到上面重新设置java的path

4.将hadoop设置情况变量

1. $sudo vim ~/.bashrc  //打开环境变量目录写入
3. export HADOOP_HOME=/usr/local/hadoop
4. export HADOOP_MAPRED_HOME=$HADOOP_HOME
5. export HADOOP_COMMON_HOME=$HADOOP_HOME
6. export HADOOP_HDFS_HOME=$HADOOP_HOME
7. export YARN_HOME=$HADOOP_HOME
8. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
9. export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
10. export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

复制代码

5.查看Hadoop版本信息

1. $hadoop version   //查看版本信息

复制代码

5.Hadoop伪分布式安装设置

1.跳转目次

1. cd /usr/local/hadoop/etc/hadoop

复制代码

2.修改 core-site.xml

1. <configuration>
2.     <property>
3.         <name>hadoop.tmp.dir</name>
4.         <value>file:/usr/local/hadoop/tmp</value>
5.         <description>Abase for other temporary directories.</description>
6.     </property>
7.     <property>
8.         <name>fs.defaultFS</name>
9.         <value>hdfs://localhost:9000</value>
10.     </property>
11. </configuration>

复制代码

3.修改 hdfs-site.xml

1. <configuration>
2.         <property>
3.                 <name>dfs.replication</name>
4.                 <value>1</value>
5.         </property>
6.         <property>
7.                 <name>dfs.namenode.name.dir</name>
8.                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
9.         </property>
10.         <property>
11.                 <name>dfs.datanode.data.dir</name>
12.                 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
13.         </property>
14. </configuration>

复制代码

4.关闭搜友命令窗口，重新打开命令窗，做格式化并启动

1. /usr/local/hadoop/bin/hdfs namenode -format

复制代码

实行后会又一大堆字符，看到has been successfully …,即为成功
5.然后启动全部进程：
start-all.sh
这里大概出现找不到java_home报错，但是实行java -version
又可以显示

此时方法为：修改hadoop-env.sh 文本路径为：

1. /usr/local/hadoop/etc/hadoop/hadoop-env.sh

复制代码

里面有个

1. export JAVA_HOME=${JAVA_HOME}
2. 把这一行改为：
3. export JAVA_HOME=你javahome的绝对路径即可

复制代码

6.启动成功图

7.欣赏器打开http://localhost:50070可以看到

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。