ToB企服应用市场:ToB评测及商务社交产业平台

标题: centos7安装hadoop [打印本页]

---

作者: 祗疼妳一个    时间: 2024-10-29 12:54
标题: centos7安装hadoop
1.软件预备

• Vmware workstation pro16
  
• centos7镜像文件
  
• Java8-linux
  
• 网盘地址：链接：https://pan.baidu.com/s/15Gjxes4PC3zOZPX6JPkncQ
  提取码：5277
  

2.安装centos7虚拟机

• 点击文件新建虚拟机
  
  
  
  
• 选择自定义高级安装，点击下一步
  
  
  
  
• 点击下一步
  
  
  
  
• 选择稍后安装操作体系，点击下一步
  
  
  
  
• 选择linux操作体系，centos764位
  
  
  
  
• 填写虚拟机的名称、修改虚拟机存放的目录
  
  
  
  
• 根据自己的电脑设置，选择处理机的数目以及每个核的数目
  
  
  
  
• 选择虚拟机的内存
  
  
  
  
• 选择网络连接位NAT模式
  
  
  
  
• 不停点击下一步到为虚拟机分配硬盘空间
  
  
  
  
• 不停点击下一步直至完成。
  
• 点击编辑虚拟机设置，点击CD\DVD，选择IOS镜像文件，这个镜像文件就是centos7的镜像文件。
  
• 打开虚拟机
  
  
  
  
• 选择install centos
  
  
  
  
• 来到欢迎界面，左边滑倒最底下，选择中文
  
  
  
  
• 点击完成，来到信息安装摘要界面，点击软件选择。默认是最小安装，为了方便我们学习，必要点进去选择一些设置。
  
  
  
  
• 选择一个桌面情况，点击完成
  
  
  
  
• 点击安装位置，自定义分区(可直接利用默认分区)
  
  
  
  
• 点击我要分区，然后点击完成。
  
  
  
  
• 选择标准分区，添加挂载点/boot 分配1G空间
  
  
  
  
• 添加挂载点 swap 分配4G空间
  
  
  
  
• 添加挂载点，分配剩下的空间，点击完成
  
  
  
  
• 点击主机名，设置一个方便辨认的主机名，点击完成。
  
  
  
  
• 点击开始安装
  
  
  
  
• 在安装的过程中，设置root用户的密码，可根据自己的需求添加普通用户。
  
  
  
  
• 等待安装完成
  

3.设置静态ip

• 点击编辑，网络设置。记住这个子网ip等会必要利用。
  
  
  
  
• 编辑网卡
  

1. vim /etc/sysconfig/network-scripts/ifcfg-ens33

复制代码

• 编辑文件
  
  
  
  • 红框中是必要修改的内容
    
  • BOOTPROTO：改为静态模式，static
    
  • ONBOOT：开机自启，改为yes
    
  • IPADDR： 这个ip是自定义的静态ip， 必要在上面的那个网关下设置相应的IP地址。
    
  • GATEWAY：网关，就是上面的网关。
    
  • DNS1：DNS服务器，与网关地址一样即可。
    
    
    
    
  
  
• 实行网络重启命令或者重启虚拟机
  

1. systemctl retsart network

复制代码

• 切换到超级管理员脚色
  

1. su root

复制代码

• 下载网络工具包
  

1. yum -y update
2. yum install -y net-tools

复制代码

• 查看本机的IP
  

1. ifconfig

复制代码

• 至此，静态IP已经设置完成。
  
• 关闭防火墙
  

1. systemctl stop firewalld

复制代码

• 验证主机与虚拟机之间可不可以通信
  

1. 主机：ping虚拟机ip
2. ping 192.168.223.100
3. 虚拟机：ping主机ip
4. ping 主机ip

复制代码

4.安装JDK

• 利用文件传输软件将linux版的JAVA JDK传输到虚拟机中。
  
  
  
  
• 解压
  

1. tar -zxvf jdk-8u391-linux-x64.tar.gz

复制代码

• 删除自带的JDK
  
  
  
  • 找出所有的java
    
  
  

1. rmp -qa | grep java

复制代码

删除自带的即可

* 设置Java情况变量

1. vim /etc/profile

复制代码

红框内里的必要填写自己JDK所在的地址

• 革新设置文件并验证
  

1. source /etc/profile
2. java -version

复制代码

5.安装hadoop

• 上传hadoop到虚拟机
  
  
  
  
• 解压
  

1. tar -zxvf hadoop-2.10.2.tar.gz

复制代码

• 进入Hadoop的设置文件
  
  
  
  
• 设置编辑hadoop-env.sh中java的位置
  
  
  
  • hadoop-env.sh
    
  
  

1. vim hadoop-env.sh

复制代码

• 设置hadoop情况变量
  

1. vim /etc/profile
2. 设置完成之后革新情况变量设置source /etc/profile

复制代码

• 必要修改如下红框中的设置文件，注意mapred-site.xml.template 必要更名为mapred-site.xml
  
  
  
  
• core-site.xml
  

1. <configuration>
2.     <property>
3.         <name>fs.defaultFS</name>
4.         <value>hdfs://localhost:9000</value>
5.     </property>
6.     <!-- 指定hadoop运行时产生文件的存储路径 -->
7.     <property>
8.         <name>hadoop.tmp.dir</name>
9.         <!-- 配置到hadoop目录下temp文件夹 -->
10.         <value>file:/opt/soft/hadoop/hadoop-2.10.2/tmp</value>
11.     </property>
12. </configuration>

复制代码

• hdfs-site.xml
  

2. <configuration>
3.         <property>
4.             <name>dfs.namenode.http-address</name>
5.             <value>192.168.223.100:9870</value>
6.         </property>
7.         <property>
8.         <!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
9.         <!--伪分布式模式，此值必须为1-->
10.            <name>dfs.replication</name>
11.            <value>1</value>
12.        </property>
13.        <property>
14.           <name>dfs.namenode.name.dir</name>
15.           <value>file:/opt/soft/hadoop/hadoop-2.10.2/dfs/name</value>
16.        </property>
17.        <property>
18.           <name>dfs.datanode.data.dir</name>
19.           <value>file:/opt/soft/hadoop/hadoop-2.10.2/dfs/data</value>
20.       </property>
21. </configuration>

复制代码

• mapred-site.xml
  

1. <configuration>
2.     <property>
3.     <name>mapreduce.framework.name</name>
4.     <value>yarn</value>
5.   </property>
6. </configuration>

复制代码

• yarn-site.xml
  

1. <configuration>
2. <!-- Site specific YARN configuration properties -->
3.   <property>
4.         <name>yarn.nodemanager.aux-services</name>
5.         <value>mapreduce_shuffle</value>
6.   </property>
7. </configuration>

复制代码

• 验证启动
  

1. 启动命令：过程中需要自己输入密码
2. start-all.sh
3. 查看是否启动命令：
4. jps

复制代码

如何出现以上6个就表示单节点的hadoop启动成功。

• 浏览器验证有两个端口：9870、8088
  

1. 在地址栏输入IP+端口即可访问
2. 192.168.223.100:9870
3. 192.168.223.100:8088

复制代码

TIP NameNode启动不成功

NameNode format每次都会新建一个新的namenodeld，而tmp/dfs/data包罗了上次format下的id，NameNode format清空了namenode下的数据，但是没有清空datanode下的数据，导致启动失败。

• 实行以下命令办理题目
  

1. 执行下面命令的时候。需要切换到hadoop的安装目录(包含bin的目录)。
2. # 1.先停掉hadoop
3. stop-all.sh
4. # 2.将tem目录删除掉，这个目录是上面配置文件中配置的目录，所以可能所在的位置和我不一样，只要删除即可。
5. rm -rf temp
6. # 3.执行NameNode格式化命令
7. ./bin/hdfs namenode -format
8. # 4.启动hadoop
9. start-all.sh

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4