IT评测·应用市场-qidao123.com技术社区

标题: （初学者强烈推荐）Ubuntu 设置hadoop 超详细教程（全过程） [打印本页]
作者: 大连密封材料    时间: 2024-6-15 02:33
标题: （初学者强烈推荐）Ubuntu 设置hadoop 超详细教程（全过程）
弁言

        本文的教程仅为个人的操作经验所写，每个人下载的版本不一样，所以会出现差别的情况非常等，如有问题可扣问博主或百度查找解决方法。
本机的设置情况如下：
hadoop(3.3.1)
jdk版本（jdk-8）
 Linux(64位)

1、安装jdk

        在Ubuntu中用压缩包安装jdk较为麻烦，需要设置系统情况变量和设置文件，一步出错可能无法使用。所以本文在Ubuntu中使用下令安装jdk。其他方法安装jdk也可。
打开终端
执行以下下令：
  
  1. sudo apt-get install openjdk-8-jdk
复制代码
​

输入y回车，等候安装完成
  
  1. java -version
复制代码
安装完成后用 java -version 查验是否安装乐成，假如如下图则安装乐成
当想要卸载jdk则使用以下下令：sudo apt remove openjdk*
​
 打开情况文件
  
  1. sudo gedit ~/.bashrc
复制代码
 文件顶部参加以下语句并保存
sudo apt-get install openjdk-8-jdk 下令安装的jdk默认路径为 /usr/lib/jvm/java-8-openjdk-amd64
  
  1. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #目录要换成自己jdk所在目录
  2. export JRE_HOME=${JAVA_HOME}/jre  
  3. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
  4. export PATH=${JAVA_HOME}/bin:$PATH
复制代码
 使情况生效
  
  1. source ~/.bashrc
复制代码
 使用 echo $JAVA_HOME 表现JAVA_HOME即为乐成
​

2、安装ssh免暗码登录

  
  1. sudo apt-get install ssh openssh-server
复制代码
   
​
   安装完毕后，在终端中依次举行继以下下令操作
  
  1. cd ~/.ssh/
复制代码
 天生密钥
  
  1. ssh-keygen -t rsa
复制代码
将秘钥参加到授权中
  
  1. cat id_rsa.pub >> authorized_keys
复制代码
 再验证ssh localhost 如下图，不用暗码登录即为乐成。
​
3、安装hadoop

1）安装hadoop并解压
镜像下载链接https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/
下载好的压缩包传到 /usr/local/目录下
使用如下下令解压缩Hadoop安装包：
tar -zxvf hadoop-3.1.1.tar.gz
解压完成之后进入hadoop-3.1.1文件内容如下：
​
2) 设置干系文件
core-site.xml
 打开/etc中的core-site.xml 文件，参加如下语句并保存
  
  1. <property>
  2.              <name>hadoop.tmp.dir</name>
  3.              <value>file:/usr/local/hadoop-3.3.1/tmp</value>
  4.              <description>Abase for other temporary directories.</description>
  5.         </property>
  6.         <property>
  7.              <name>fs.defaultFS</name>
  8.              <value>hdfs://localhost:9000</value>
  9. </property>
复制代码
留意其中路径要修改为自己的
​
 hdfs-site.xml
 和上面一样，打开/etc中的hdfs-site.xml 文件，参加如下语句并保存
  
  1. <property>
  2.              <name>dfs.replication</name>
  3.              <value>1</value>
  4.         </property>
  5.         <property>
  6.              <name>dfs.namenode.name.dir</name>
  7.              <value>file:/usr/local/hadoop-3.3.1/tmp/dfs/name</value>
  8.         </property>
  9.         <property>
  10.              <name>dfs.datanode.data.dir</name>
  11.              <value>file:/usr/local/hadoop-3.3.1/tmp/dfs/data</value>
  12.         </property>
复制代码
hadoop-env.sh
检察你的  jdk安装目录
echo $JAVA_HOME
打开 hadoop-env.sh 文件设置如下并保存：
  
  1. export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"  # 根据自己的路径写
复制代码
   
​
   4、运行hadoop

1）首先初始化HDFS系统
在hadop3.3.0目录下使用如下下令举行初始化：
  
  1. bin/hdfs namenode -format
复制代码
 乐成后如下图：
   
​
  2）开启NameNode和DataNode守护进程 
继续运行如下下令开启hadoop
  
  1. sbin/start-dfs.sh
复制代码
 乐成如下图：
   
​
   3）检察jps
进程信息
  
  1. jps
复制代码
 如下图即为乐成
   
​
   关闭hadoop使用下令 sbin/stop-dfs.sh
打开浏览器输入http://localhost:9870，乐成打开
​ 
 4）创建hadoop用户组
使用/bin/bash作为shell     sudo useradd -m hadoop -s /bin/bash 
设置暗码  sudo passwd hadoop
添加hadoop至管理员权限  sudo adduser hadoop sudo
​
 5、设置yarn

搭建前请保证已经搭建好了HDFS的情况，即设置好所上内容。
1）终端输入hostname检察主机名
  
  1. hostname
复制代码
2）打开/etc下yarn-site.xml，在在configuration标签中参加如下，留意主机名要修改为自己的
  
  1. <property>
  2.     <name>yarn.nodemanager.aux-services</name>
  3.     <value>mapreduce_shuffle</value>
  4. </property>
  5. <!--Resource Manager-->
  6. <property>
  7.     <name>yarn.resourcemanager.hostname</name>
  8.     <value>liang-VirtualBox</value><!--你的hostname的主机名-->
  9. </property>
复制代码
3）打开mapred-site.xml 文件，设置如下（在configuration标签中间参加）
  
  1. <property>
  2.     <name>mapreduce.framework.name</name>
  3.     <value>yarn</value>
  4. </property>
复制代码
4）输入下令启动yarn
  
  1. sbin/start-yarn.sh
复制代码
 jps
检察进程信息多了两个东西
乐成启动如下图
​
 在浏览器输入主机名：8088  打开乐成
​
 6、设置JobHistory（可不配）

        JobHistory用来记载已经finished的mapreduce运行日记，日记信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml、yarn-site.xml设置，并手动启动
 mapred-site.xml添加如下设置（在configuration标签中间参加）
  
  1. <property>
  2.   <name>mapreduce.jobhistory.address</name>
  3.   <value>主机名:10020</value>
  4.   <description>MapReduce JobHistory Server IPC host:port</description>
  5. </property>
  7. <property>
  8.   <name>mapreduce.jobhistory.webapp.address</name>
  9.   <value>主机名:19888</value>
  10.   <description>MapReduce JobHistory Server Web UI host:port</description>
  11. </property>
  13. <property>
  14.     <name>mapreduce.jobhistory.done-dir</name>
  15.     <value>/history/done</value>
  16. </property>
  18. <property>
  19.     <name>mapreduce.jobhistory.intermediate-done-dir</name>
  20.     <value>/history/done_intermediate</value></property>
复制代码
 yarn-site.xml添加如下设置（在configuration标签中间参加）
  
  1. <property>  
  2.     <name>yarn.log-aggregation-enable</name>  
  3.     <value>true</value>  
  4. </property>
复制代码
 hadoop fs -ls /history检察历史记载
​
 开启history进程 
  
  1. mapred --daemon start historyserver
复制代码
通过浏览器访问   主机名:19888
乐成如下图
 
​
至此，hadoop全部设置完成，可下载eclipse举行wordcount等运算实验。
   如有任何疑问，请留言，尽仅有所学帮助。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/) Powered by Discuz! X3.4