Hadoop手把手教你生态搭建及项目实战系列（一）环境准备
Hadoop生态全流程实站系列：从搭建到项目实践，手把手带你迈向大数据高手之路！你是否希望把握Hadoop大数据生态的完整技能，从零开始构建属于你的数据处置处罚平台？在这个专栏中，我们将从最基础的Hadoop搭建流程出发，逐步覆盖HDFS、MapReduce、Yarn等核心组件，深入浅出地讲解每一步怎样操纵及其背后的逻辑。系列配有真实项目案例，让你能在现实应用中把握技术精髓，轻松上手。
整个系列的内容包罗：
（一）环境准备
（二）Hadoop伪分布式集群模式开端实现
（三）Hadoop伪分布式集群模式团体实现
（四）Hadoop完全分布式集群模式开端实现
（五）Hadoop完全分布式集群模式团体实现
（六）HDFS Shell下令
（七）HDFS API客户端操纵
（八）MapReduce案例
（九）Hadoop序列化
（十）Hadop I/O
（下面所有截图均用SecureCRT远程登录毗连显示）
所需工具和环境：VMWare、centos、SecureCRT（大概xshell等类似远程登录工具）
接下来让我们首先从最开始的环境搭建入手吧！
一、安装虚拟机VMWare和centos
1、从VMware官网中下载VMware安装包并安装，打开主页后可以看到
https://i-blog.csdnimg.cn/direct/1c7f12897c664a92a6faec4b27496695.png
2、弹出“新建虚拟机向导”对话框，选择“典型(推荐)(T) ”模式，再单击“下一步”按钮。
https://i-blog.csdnimg.cn/direct/cb2c87f4a07341008294cea39ef7c291.png
3、安装客户机操纵体系，选择已经下载好的镜像文件（这里需要各人下载所需的Centos镜像文件，推荐各人下载centos7版本），单击“下一步”按钮。https://i-blog.csdnimg.cn/direct/f018519d4aee423c93cea6eff3dd8d7b.png
4、虚拟机名称和位置可以自定义（也可以用默认的），单击“下一步”按钮。https://i-blog.csdnimg.cn/direct/c59d9b48c2ea4327b2992f965a7ccb2e.png
5、磁盘大小根据个人电脑现实存储环境设置，尽量设置大点，制止后续空间不够用，单击“下一步”按钮。
https://i-blog.csdnimg.cn/direct/c04819264dc840769f7dbc32091f7ece.png
6、单击“完成”按钮。
https://i-blog.csdnimg.cn/direct/4b9169aafff3463b902e60baccd10161.png
7、选择第一个“Install Centos7”开始安装。https://i-blog.csdnimg.cn/direct/3d504057e7344e1f9cac6ca8c2e1c1bb.png
8、语言选择中文（English也可），点击继续。
https://i-blog.csdnimg.cn/direct/ff2ed5ae0e934b3983d7cc728d5343a9.png
9、点击开始安装。
https://i-blog.csdnimg.cn/direct/f6d3d51c0f7644d6aa0a750005ea28bd.png
10、安装中。（这里需要设置一个自己能够记住的root密码）
https://i-blog.csdnimg.cn/direct/5ec019c17c594015a8195d5812fa05d2.png
11、等候一段时间便可安装成功。各人如果需要用到多台虚拟机，也是像如许举行安装大概直接将安装好的机器举行克隆。
https://i-blog.csdnimg.cn/direct/7769cdba204e4c9595ec18023acb28e0.png
二、配置静态IP
进入root超级管理员用户：下令su
修改网络IP及静态
vi /etc/sysconfig/network-scripts/ifcfg-en33
https://i-blog.csdnimg.cn/direct/40447431fde6429581ff70b672b53585.png
（注意：配置GATEWAY网关192.168.49.2的时间需要包管和虚拟机的网关同等）
https://i-blog.csdnimg.cn/direct/187042fbfc0a44349e2db88ffbb3deba.png
刷新修改后的IP
# systemctl restart network
检察修改后的IP： ifconfig
https://i-blog.csdnimg.cn/direct/25b617d6e332452c983680384bd9e549.png
yum install net-tools（ifconfig下令无效需要下载net-tools）
测试外网能否正常联通：ping www.baidu.com
https://i-blog.csdnimg.cn/direct/d4d62afa957d4265aab104a28a41785e.png
三、修改和更新主机名
# vim /etc/hostname
https://i-blog.csdnimg.cn/direct/f33a888994034c3aa41007b9835ec87c.png
检察主机名称
# hostname
四、设置主机名与IP映射
vim /etc/hosts
192.168.199.133 hadoop
192.168.199.134 hadoop2
192.168.199.135hadoop3
https://i-blog.csdnimg.cn/direct/b37be5fa43124a40a3f9945ff04a2650.png
五、linux与windows中ip互ping
设置本机的vmnet8的IP地址包管其与虚拟机的IP地址在同一网段。如这里的ip地址设置的是192.168.199.130。
https://i-blog.csdnimg.cn/direct/e2b016f6d1614388bf1facfe628879e0.png
https://i-blog.csdnimg.cn/direct/19df26adc3054cbf9e61dd3c7d7c4dd6.png
六、创建用户并设置密码
# useradd hadoop
# passwd haddoop
七、给hadoop用户赋予管理员权限
# vim /etc/sudoers
八、关闭防火墙
检察防火墙状态:# systemctl status firewalld
关闭防火墙:# systemctl stop firewalld
永世关闭：systemctl disable firewalld
九、使用SecureCRT登录进入
https://i-blog.csdnimg.cn/direct/bb684aa55b1f4940b13eab94f0bc0591.png
十、安装编译相关的依赖
1、yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst zlib -y
2、 yum install -y doxygen cyrus-sasl* saslwrapper-devel*
https://i-blog.csdnimg.cn/direct/2f96cda9912d46849a84789904c0d367.png
十一、在/export下创建三个文件夹server、data、software
mkdir -p /export/server
mkdir -p /export/data/
mkdir -p /export/software/
十二、上传jdk和hadoop
上传JDK
cd /export/server/
yum install lrzsz（rz是从本地电脑上传到linux，sz相反）
rz（选择对应的jdk版本举行上传）
https://i-blog.csdnimg.cn/direct/d27a79ed4acc47ed8360f0672c487f92.png
上传hadoop（和上传jdk步骤一样，不再赘述）
https://i-blog.csdnimg.cn/direct/20c4bd7e8ea745eab0558029ab73cfec.png
十三、解压jdk和hadoop并配置环境变量
1、解压jdk
tar -zxvf jdk-8u241-linux-x64.tar.gz（在/export/server/目录下）
https://i-blog.csdnimg.cn/direct/b47b6e9e301c4aed8a186601d496dfef.png
vim /etc/profile（使用shell下令Go下令跳转到最后一行添加如下环境配置）
export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
https://i-blog.csdnimg.cn/direct/ca090de8ad42443baf3b87e2f9b4661c.png
#重新加载环境变量文件
source /etc/profile
检测是否配置成功 java -version
https://i-blog.csdnimg.cn/direct/aad47c42f9f246ed93f316c0adb81f55.png（可以看到此时java的版本是1.8.0_262为体系自带jdk不是我们配置的jdk1.8.0_241，linux中自带的jdk与安装的jdk版本不同等）
解决jdk版本问题，按照下面步骤举行：
sudo rm -rf /usr/bin/java
sudo rm -rf /usr/bin/javac
再次启用体系文件/etc/profile
source /etc/profile
查询jdk版本
java -version
javac -version（显示jdk成功安装）
2、解压hadoop：tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
https://i-blog.csdnimg.cn/direct/b15760602e2a4f88ba191fbff9c8bdb1.png
配置环境变量
进入/export/server/hadoop-3.3.0/etc/Hadoop
3、配置hadoop-env.sh
文件最后添加如下代码
export JAVA_HOME=/export/server/jdk1.8.0_241
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
4、将hadoop添加到环境变量
vim /etc/profile
将如下代码添加进去
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5、重启动体系文件/etc/profile
source /etc/profile
6、查询hadoop版本
hadoop version
https://i-blog.csdnimg.cn/direct/504ff45da7c84bf581f363cf7f40f01d.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]