ubutu系统下Hadoop的下载与配置
我就说的白话一些，你能明白就好。前置条件
起首前置条件为你已经下载安装好VMware假造机，同时在网上找到了ubutu的镜像文件。
安装ubutu系统，创建linux假造机
安装ubutu
按照图片上的步骤选择
https://i-blog.csdnimg.cn/direct/bcdaecfffb5b4cadb26c547a3d1f9d53.png
https://i-blog.csdnimg.cn/direct/1b65932405254e449cd24e45305957cb.png
https://i-blog.csdnimg.cn/direct/a5a151901a93419b8cd556dc3b4ae97d.png注意！！假如你的条记本电脑没有显卡，比如轻薄本，上面这个【表现】中把【加快3D图形】勾掉，默认式勾上的，但电脑没有显卡，后续就会卡住，一启动假造机就闪退。
https://i-blog.csdnimg.cn/direct/c36e200988464185be22b92a00da1d8f.png
选中文，其他的都next
https://i-blog.csdnimg.cn/direct/38d7faaad5104a4fb0059a58d57c2ebc.png
自己起个账户名
https://i-blog.csdnimg.cn/direct/daf74dfad7994b3e89d9ad1508dcffac.png
等它安完
https://i-blog.csdnimg.cn/direct/8f53760e7da949068fbd00f6facb1c75.png
恭喜你，完成了第一步
立刻重启就行
https://i-blog.csdnimg.cn/direct/5b623793ea634dd697f228de7dd73f6c.png
很好你已经成功进入了ubutu的主界面,下面为一些偏好设置，可以跳过，进入下一部门
偏好设置-界面巨细（不必要）
https://i-blog.csdnimg.cn/direct/d0dac372d5a5434ca3aaac04a7026638.png
起首点击左下角小圆圈，再点击setting(设置)进入设置界面
下载hadoop与java jdk
第一步：下东西，hadoop,java jdk
把你的hadoop下载下来
自己安装到一个文件夹内，然后啥都不要碰
把你的jdk下载下来
下载openjdk
一般来说ubutu中自带openjdk，它相称于式开源的javajdk，所以我们可以无需安装javajdk，确认一下你的openjdk,打开下令行面板（ctrl+alt+t）输入下列代码
java -version https://i-blog.csdnimg.cn/direct/a7dcdeadb2e04d22b8a5468d6ac5f0d6.png
我这里表现出系统内有openjdk1.8.0，所以无需下载javajdk.
假如没有表现，在下令行中输入
sudo apt install openjdk-8-jdk 再确认是否安装成功
下载hadoop
不消下令行下载
Index of /hadoop/common 这是hadoop下载的官网，咱就不消下令行了，你直接用火狐打开输进去，然后挑一个版本下载，目前最新的版本是3.4.0
https://i-blog.csdnimg.cn/direct/bc1571ca8af54054b9185299c4f73bca.png
https://i-blog.csdnimg.cn/direct/5dee57a2f78947e497b402384ff79c61.png
点进去后找到这个压缩包，点击下载。
https://i-blog.csdnimg.cn/direct/89b943163d8948b8ac7941ee3c502398.png
下载完之后打开它的文件位置解压至一个你能找到的地方
https://i-blog.csdnimg.cn/direct/72c3cb50b37b4e96b5a7272dbb49166b.png
作者本人是直接解压到了主文件夹，方便操纵
使用下令行下载
在官网中获取下载hadoop3.4.0
wget https://downloads.apache.org/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz 解压
tar -xzvf hadoop-3.4.0.tar.gz 移到你想要存的地方
/home/xiaochen/hadoop是我存放的地方，这里的xiaochen是我的账户名，也就是主文件夹
sudo mv hadoop-3.4.0 /home/xiaochen/hadoop 检察是否安装成功
打开下令行(ctrl+alt+t)输入下列代码
hadoop version https://i-blog.csdnimg.cn/direct/e35ea3f07ac24985afd85d0eb1f0355d.png
效果表现你成功的下载并安装了hadoop3.4.0！
将hadoop写入环境变量
打开下令行输入下列代码
sudo nano ~/.bashrc 效果如图
https://i-blog.csdnimg.cn/direct/3a692ac0e1194c80ad01578415834e9a.png
下拉至左下方填入下列两行
export PATH=$PATH:/home/xiaochen/hadoop/bin
export PATH=$PATH:/home/xiaochen/hadoop/sbin 这里的/home/xiaochen/hadoop改为你的hadoop的路径
https://i-blog.csdnimg.cn/direct/05abf6449a364f1cb6bfbb7b0973390f.png
然后输入ctrl+x离开，输入y保存，再按enter退出
在下令行中输入下列代码，使你的环境变量生效
source ~/.bashrc 好的，你的hadoop环境变量已经装填完毕
接下来，要开始配置hadoop了
hadoop配置与启动
起首进入hadoop文件夹，因为配置操纵可以用下令行也可以你自己在文件夹中一个一个挑出来再用文本编辑器修改，所以我重要讲下令行操纵
下令行（ctrl+alt+t）,输入下列代码
cd /home/xiaochen/hadoop/etc/hadoop 实际上就是下面这个文件夹，我们要修改内里的几个xml文件，假如你能把他们手动找出来，也可以不消下令行https://i-blog.csdnimg.cn/direct/0b270af493a543c8950cb875abfea7c7.png
配置hadoop-env.sh
起首使用vim（文本编辑器）打开hadoop-env.sh文件
vim hadoop-env.sh 然后再输入i进入插入模式，下方会出现插入二字
https://i-blog.csdnimg.cn/direct/663c522c75574fe79c797d9b6b2694d0.png
在内里空白处输入
https://i-blog.csdnimg.cn/direct/20f8c797d8154bff944d0550c81cbc93.png
这里第一行=后面的是你的openjdk的位置
下面三行改成你自己的账户名就行
配置core-site.xml
下令行输入
vim core-site.xml 然后再输入i进入插入模式，下方会出现插入二字
往下翻，找到图中布局
https://i-blog.csdnimg.cn/direct/68a5351c21934e28ae52621e15be796c.png
把这个布局替换为
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/xiaochen/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration> 然后按esc返回正常状态，再输入:wq退出，返回下令行
这里的/home/xiaochen/hadoop/tmp，把xiaochen换成你自己的账户名，并在hadoop文件夹中新建一个tmp文件夹
https://i-blog.csdnimg.cn/direct/7129a086910e4dfca4d22af779098bb4.png
如上图所示
配置hdfs-site.xml
下令行输入
vim hdfs-site.xml 然后再输入i进入插入模式，下方会出现插入二字
往下翻，找到图中布局
https://i-blog.csdnimg.cn/direct/c1daf96da2ba49c78382a9d195b9a36c.png
将其替换为
这是很关键的一步哦，这内里两个地点/home/xiaochen/hadoop/dfs 中xiaochen换成你的账户名
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/xiaochen/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/xiaochen/hadoop/dfs/data</value>
</property>
</configuration>
然后按esc返回正常状态，再输入:wq退出，返回下令行
并在hadoop文件夹下新增dfs文件夹，并在新增的dfs文件夹中新增name文件夹和data文件夹（ctrl+shift+n新增文件夹快捷键）
https://i-blog.csdnimg.cn/direct/00760e2c1a474f4fb526e985a11bf231.png
如上图所示
配置mapred-site.xml
下令行输入
vim mapred-site.xml 然后再输入i进入插入模式，下方会出现插入二字
往下翻，找到图中布局https://i-blog.csdnimg.cn/direct/fb3edcd18d6447a7b3f78829d402eec8.png
替换为
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> 然后按esc返回正常状态，再输入:wq退出，返回下令行
配置yarn-site.xml
下令行输入
vim yarn-site.xml 然后再输入i进入插入模式，下方会出现插入二字
往下翻，找到图中布局
https://i-blog.csdnimg.cn/direct/ef926f186b314861bb3a4dab5dda2bc5.png
替换为
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>
然后按esc返回正常状态，再输入:wq退出，返回下令行
SSH免密登陆
此时你可以启动hadoop,但是需要ssh密码，举行下列操纵免密登录
生成ssh密钥对
ssh-keygen -t rsa -P ''
将公钥添加到 authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
确保 ~/.ssh 目录和 ~/.ssh/authorized_keys 文件的权限正确：
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
确保 Hadoop 配置文件 ~hadoop/etc/hadoop/hadoop-env.sh 中的 HADOOP_SSH_OPTS 设置正确：
nano ~hadoop/etc/hadoop/hadoop-env.sh
添加下行，假如有就不加
export HADOOP_SSH_OPTS="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null"
格式化HDFS文件系统
下令行输入
hdfs namenode -format 启动！！！
下令行输入
start-dfs.sh 查抄你的hadoop是否正常启动，
输入
jps 假如出现如下四行正在启动的历程信息：分别是datanode,secondarynamenode,namenode,jps
https://i-blog.csdnimg.cn/direct/73204cf9f1964a3cb03a58715e70baa3.png
那么恭喜你，你成功启动了hadoop!!!
结语
希望这些明白话能帮到你，假如没有，那就当我没说过。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]