ubutu系统下Hadoop的下载与配置

我就说的白话一些，你能明白就好。
前置条件

起首前置条件为你已经下载安装好VMware假造机，同时在网上找到了ubutu的镜像文件。
安装ubutu系统，创建linux假造机

安装ubutu

按照图片上的步骤选择

注意！！假如你的条记本电脑没有显卡，比如轻薄本，上面这个【表现】中把【加快3D图形】勾掉，默认式勾上的，但电脑没有显卡，后续就会卡住，一启动假造机就闪退。

选中文，其他的都next

自己起个账户名

等它安完

恭喜你，完成了第一步
立刻重启就行

很好你已经成功进入了ubutu的主界面,下面为一些偏好设置，可以跳过，进入下一部门
偏好设置-界面巨细（不必要）

起首点击左下角小圆圈，再点击setting(设置)进入设置界面

下载hadoop与java jdk

第一步：下东西，hadoop,java jdk
把你的hadoop下载下来
自己安装到一个文件夹内，然后啥都不要碰
把你的jdk下载下来
下载openjdk

一般来说ubutu中自带openjdk，它相称于式开源的javajdk，所以我们可以无需安装javajdk，确认一下你的openjdk,打开下令行面板（ctrl+alt+t）输入下列代码

1. java -version

复制代码

我这里表现出系统内有openjdk1.8.0，所以无需下载javajdk.
假如没有表现，在下令行中输入

1. sudo apt install openjdk-8-jdk

复制代码

再确认是否安装成功
下载hadoop

不消下令行下载

Index of /hadoop/common 这是hadoop下载的官网，咱就不消下令行了，你直接用火狐打开输进去，然后挑一个版本下载，目前最新的版本是3.4.0

点进去后找到这个压缩包，点击下载。

下载完之后打开它的文件位置解压至一个你能找到的地方

作者本人是直接解压到了主文件夹，方便操纵
使用下令行下载

在官网中获取下载hadoop3.4.0

1. wget https://downloads.apache.org/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz

复制代码

解压

1. tar -xzvf hadoop-3.4.0.tar.gz

复制代码

移到你想要存的地方
/home/xiaochen/hadoop是我存放的地方，这里的xiaochen是我的账户名，也就是主文件夹

1. sudo mv hadoop-3.4.0 /home/xiaochen/hadoop

复制代码

检察是否安装成功

打开下令行(ctrl+alt+t)输入下列代码

1. hadoop version

复制代码

效果表现你成功的下载并安装了hadoop3.4.0！
将hadoop写入环境变量

打开下令行输入下列代码

1. sudo nano ~/.bashrc

复制代码

效果如图

下拉至左下方填入下列两行

1. export PATH=$PATH:/home/xiaochen/hadoop/bin
2. export PATH=$PATH:/home/xiaochen/hadoop/sbin

复制代码

这里的/home/xiaochen/hadoop改为你的hadoop的路径

然后输入ctrl+x离开，输入y保存，再按enter退出
在下令行中输入下列代码，使你的环境变量生效

1. source ~/.bashrc

复制代码

好的，你的hadoop环境变量已经装填完毕
接下来，要开始配置hadoop了
hadoop配置与启动

起首进入hadoop文件夹，因为配置操纵可以用下令行也可以你自己在文件夹中一个一个挑出来再用文本编辑器修改，所以我重要讲下令行操纵
下令行（ctrl+alt+t）,输入下列代码

1. cd /home/xiaochen/hadoop/etc/hadoop

复制代码

实际上就是下面这个文件夹，我们要修改内里的几个xml文件，假如你能把他们手动找出来，也可以不消下令行

配置hadoop-env.sh

起首使用vim（文本编辑器）打开hadoop-env.sh文件

1. vim hadoop-env.sh

复制代码

然后再输入i进入插入模式，下方会出现插入二字

在内里空白处输入

这里第一行=后面的是你的openjdk的位置
下面三行改成你自己的账户名就行
配置core-site.xml

下令行输入

1. vim core-site.xml

复制代码

然后再输入i进入插入模式，下方会出现插入二字
往下翻，找到图中布局

把这个布局替换为

1. <configuration>
2.   <property>
3.     <name>fs.defaultFS</name>
4.     <value>hdfs://localhost:9000</value>
5.   </property>
6.   <property>
7.     <name>hadoop.tmp.dir</name>
8.     <value>/home/xiaochen/hadoop/tmp</value>
9.     <description>A base for other temporary directories.</description>
10.   </property>
11. </configuration>

复制代码

然后按esc返回正常状态，再输入:wq退出，返回下令行
这里的/home/xiaochen/hadoop/tmp，把xiaochen换成你自己的账户名，并在hadoop文件夹中新建一个tmp文件夹

如上图所示
配置hdfs-site.xml

下令行输入

1. vim hdfs-site.xml

复制代码

然后再输入i进入插入模式，下方会出现插入二字
往下翻，找到图中布局

将其替换为
这是很关键的一步哦，这内里两个地点/home/xiaochen/hadoop/dfs 中xiaochen换成你的账户名

1. <configuration>
2.   <property>
3.     <name>dfs.replication</name>
4.     <value>1</value>
5.   </property>
6.   <property>
7.     <name>dfs.namenode.name.dir</name>
8.     <value>/home/xiaochen/hadoop/dfs/name</value>
9.   </property>
10.   <property>
11.     <name>dfs.datanode.data.dir</name>
12.     <value>/home/xiaochen/hadoop/dfs/data</value>
13.   </property>
14. </configuration>

复制代码

然后按esc返回正常状态，再输入:wq退出，返回下令行
并在hadoop文件夹下新增dfs文件夹，并在新增的dfs文件夹中新增name文件夹和data文件夹（ctrl+shift+n新增文件夹快捷键）

如上图所示
配置mapred-site.xml

下令行输入

1. vim mapred-site.xml

复制代码

然后再输入i进入插入模式，下方会出现插入二字
往下翻，找到图中布局

替换为

1. <configuration>
2.     <property>
3.         <name>mapreduce.framework.name</name>
4.         <value>yarn</value>
5.     </property>
6. </configuration>

复制代码

然后按esc返回正常状态，再输入:wq退出，返回下令行
配置yarn-site.xml

下令行输入

1. vim yarn-site.xml

复制代码

然后再输入i进入插入模式，下方会出现插入二字
往下翻，找到图中布局

替换为

1. <configuration>
2.   <property>
3.     <name>yarn.nodemanager.aux-services</name>
4.     <value>mapreduce_shuffle</value>
5.   </property>
6.   <property>
7.     <name>yarn.resourcemanager.hostname</name>
8.     <value>localhost</value>
9.   </property>
10. </configuration>

复制代码

然后按esc返回正常状态，再输入:wq退出，返回下令行
SSH免密登陆

此时你可以启动hadoop,但是需要ssh密码，举行下列操纵免密登录
生成ssh密钥对

1. ssh-keygen -t rsa -P ''

复制代码

将公钥添加到 authorized_keys

1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

复制代码

确保 ~/.ssh 目录和 ~/.ssh/authorized_keys 文件的权限正确：

1. chmod 700 ~/.ssh
2. chmod 600 ~/.ssh/authorized_keys

复制代码

确保 Hadoop 配置文件 ~hadoop/etc/hadoop/hadoop-env.sh 中的 HADOOP_SSH_OPTS 设置正确：

2. nano ~hadoop/etc/hadoop/hadoop-env.sh

复制代码

添加下行，假如有就不加

1. export HADOOP_SSH_OPTS="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null"

复制代码

格式化HDFS文件系统

下令行输入

1. hdfs namenode -format

复制代码

启动！！！

下令行输入

1. start-dfs.sh

复制代码

查抄你的hadoop是否正常启动，
输入

1. jps

复制代码

假如出现如下四行正在启动的历程信息：分别是datanode,secondarynamenode,namenode,jps

那么恭喜你，你成功启动了hadoop!!!
结语

希望这些明白话能帮到你，假如没有，那就当我没说过。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。