Hadoop伪分布式安装

一.虚拟机设置

安装VMware，新建虚拟机，下载Ubuntu 18.04 64位的ISO映像文件并载入利用
二.准备工作

1.创建hadoop用户

sudo useradd -m hadoop -s /bin/bash
这条下令创建了可以登陆的 hadoop 用户，并利用 /bin/bash 作为 shell。
sudo passwd hadoop
设置密码，可简单设置为 hadoop，按提示输入两次密码。
sudo adduser hadoop sudo
增加管理员权限，方便部署。
末了退出，重新选择hadoop用户登录。
2.更新apt

sudo apt-get update
问题1：无法解析各个网站域名，毗连不到网站，无法下载东西
办理1：退出该虚拟机，修改虚拟机设置，将“网络适配器”的模式更改为NAT模式即可
问题2：出现如下 "Hash校验和不符" 的提示，可通过更改软件源来办理
办理2：（参考https://dblab.xmu.edu.cn/blog/2441/进行设置）
sudo apt-get install vim
若后续须要更改设置文件，可以利用vim编辑器
3.安装SSH

sudo apt-get install openssh-server
Ubuntu 默认已安装了 SSH client，别的还须要安装 SSH server
ssh localhost
利用以上下令登陆本机 ，按照提示：输入yes，并输入密码即可
4.设置无密码SSH

1. exit                           # 退出刚才的 ssh localhost
2. cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
3. ssh-keygen -t rsa              # 会有提示，都按回车就可以
4. cat ./id_rsa.pub >> ./authorized_keys  # 加入授权，语句回车后无任何提示

复制代码

此时再用ssh localhost下令，无需输入密码就可以直接登陆了
5.FTP软件

将主机本机文件传输到虚拟机中，利用前须要开启ssh
5.1 下载软件

FileZilla中文网 - 免费开源的FTP办理方案
5.2 虚拟机的设置

5.2 软件的利用

主机：输入虚拟机的ip地址（注意：虚拟机须要联网，NAT模式即可；终端输入ifconfig，检察inet就是IP地址）
用户名、密码：与当前登陆的一致即可
端口（ssh端口号）：ftp默认21，sftp是22（我用的是22）
点击快速毗连即可
问题3：无法毗连服务器
办理3：确保ftp的设置正确后，未正确开启ssh
SSH网络协议是一种用于安全远程登录和其他安全网络服务的协议，通过加密和认证机制在不安全的网络环境中提供安全的数据传输通道。

1. sudo apt-get install openssh-server    //下载ssh
2. /etc/init.d/ssh start    //启动ssh

复制代码

5.3 传输文件

选中要传输的文件，拖拽或右键均可上传至虚拟机
问题4：权限不敷

办理4：虚拟机内用sudo下令
有sudo权限，就可以输入：'sudo  chmod  777  /home'
获取对应目录的读写权限，'/home'替换成你要写入的路径即可。
如果想要目录下全部子目录都获取权限，则下令为：
'sudo chmod -R  777  /home'
在此处，不能把整个usr的权限都更改为777，因为usr中有sudo，sudo权限为4755，更改会影响后续下令实验。
因此，须要哪个文件夹就更改哪个文件夹的权限
6.安装java环境

6.1 下载jdk

本机下好后，用ftp软件传输到虚拟机中，假设传到了虚拟机中的“/home/linziyu/Downloads”
虚拟机中找到压缩文件后，可以直接双击解压，解压到已知的地方（有大概也须要获取读写权限，可以利用办理3）
可参照：（终端解压不了的，直接找文件双击解压）

***.tar（1）.gz解压后是***.tar（1），改名为***.tar类型文件，再次解压才成为***文件夹 
6.2 设置环境变量

1. cd ~
2. vim ~/.bashrc
3. //打开了hadoop这个用户的环境变量配置文件
5. export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
6. export JRE_HOME=${JAVA_HOME}/jre
7. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
8. export PATH=${JAVA_HOME}/bin:$PATH
9. //在这个文件的开头位置，添加以上几行内容
10. //添加完后按Esc，再输入“:wq”退出编辑
12. source ~/.bashrc
13. //继续执行以上命令让.bashrc文件的配置立即生效
15. java -version
16. //使用该命令查看是否安装成功

复制代码

三.hadoop安装

在本机中下载hadoop压缩包后，用ftp传输到虚拟机中，假设传到了虚拟机中的“/home/linziyu/Downloads”（参考6.1的条件条件）
解压操作的shell下令中的路径须要根据现实位置更改

四.hadoop单机/伪分布式

设置文件的修改：参考 https://dblab.xmu.edu.cn/blog/2441/，此处没有写出，有报错进去找办理方法
设置完成后：（以下全部shell下令都在/usr/local/hadoop/中运行）
1.修改两处设置文件
修改后进行NameNode格式化：

1. cd /usr/local/hadoop
2. ./bin/hdfs namenode -format

复制代码

 2.启动NameNode 和 DataNode 守护历程

1. cd /usr/local/hadoop
2. ./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

复制代码

若没有开启ssh或没有设置无需密码的ssh，须要输入yes，才继续进行
3.验证是否成功启动hadoop

 4.关闭hadoop

1. ./sbin/stop-dfs.sh

复制代码

下次启动 hadoop 时，无需进行 NameNode 的初始化，只须要运行./sbin/start-dfs.sh就可以

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。