Hadoop生态全流程实站系列：从搭建到项目实践，手把手带你迈向大数据高手之路！
你是否希望把握Hadoop大数据生态的完整技能，从零开始构建属于你的数据处置处罚平台？在这个专栏中，我们将从最基础的Hadoop搭建流程出发，逐步覆盖HDFS、MapReduce、Yarn等核心组件，深入浅出地讲解每一步怎样操纵及其背后的逻辑。系列配有真实项目案例，让你能在现实应用中把握技术精髓，轻松上手。
整个系列的内容包罗：
（一）环境准备
（二）Hadoop伪分布式集群模式开端实现
（三）Hadoop伪分布式集群模式团体实现
（四）Hadoop完全分布式集群模式开端实现
（五）Hadoop完全分布式集群模式团体实现
（六）HDFS Shell下令
（七）HDFS API客户端操纵
（八）MapReduce案例
（九）Hadoop序列化
（十）Hadop I/O
（下面所有截图均用SecureCRT远程登录毗连显示）
所需工具和环境：VMWare、centos、SecureCRT（大概xshell等类似远程登录工具）
接下来让我们首先从最开始的环境搭建入手吧！
一、安装虚拟机VMWare和centos
1、从VMware官网中下载VMware安装包并安装，打开主页后可以看到
2、弹出“新建虚拟机向导”对话框，选择“典型(推荐)(T) ”模式，再单击“下一步”按钮。
3、安装客户机操纵体系，选择已经下载好的镜像文件（这里需要各人下载所需的Centos镜像文件，推荐各人下载centos7版本），单击“下一步”按钮。
4、虚拟机名称和位置可以自定义（也可以用默认的），单击“下一步”按钮。
5、磁盘大小根据个人电脑现实存储环境设置，尽量设置大点，制止后续空间不够用，单击“下一步”按钮。
6、单击“完成”按钮。
7、选择第一个“Install Centos7”开始安装。
8、语言选择中文（English也可），点击继续。
9、点击开始安装。
10、安装中。（这里需要设置一个自己能够记住的root密码）
11、等候一段时间便可安装成功。各人如果需要用到多台虚拟机，也是像如许举行安装大概直接将安装好的机器举行克隆。
二、配置静态IP
进入root超级管理员用户：下令su
修改网络IP及静态
vi /etc/sysconfig/network-scripts/ifcfg-en33
（注意：配置GATEWAY网关192.168.49.2的时间需要包管和虚拟机的网关同等）
刷新修改后的IP
[root@hadoop101 ~]# systemctl restart network
检察修改后的IP： ifconfig
yum install net-tools（ifconfig下令无效需要下载net-tools）
测试外网能否正常联通：ping www.baidu.com
三、修改和更新主机名
[root@hadoop101 ~]# vim /etc/hostname
检察主机名称
[root@hadoop101 ~]# hostname
四、设置主机名与IP映射
vim /etc/hosts
192.168.199.133 hadoop
192.168.199.134 hadoop2
192.168.199.135hadoop3
五、linux与windows中ip互ping
设置本机的vmnet8的IP地址包管其与虚拟机的IP地址在同一网段。如这里的ip地址设置的是192.168.199.130。
六、创建用户并设置密码
[root@hadoop101 ~]# useradd hadoop
[root@hadoop101 ~]# passwd haddoop
七、给hadoop用户赋予管理员权限
[root@hadoop101 ~]# vim /etc/sudoers
八、关闭防火墙
检察防火墙状态:[root@hadoop101 ~]# systemctl status firewalld
关闭防火墙:[root@hadoop101 ~]# systemctl stop firewalld
永世关闭：systemctl disable firewalld
九、使用SecureCRT登录进入
十、安装编译相关的依赖
1、yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst zlib -y
2、 yum install -y doxygen cyrus-sasl* saslwrapper-devel*
十一、在/export下创建三个文件夹server、data、software
mkdir -p /export/server
mkdir -p /export/data/
mkdir -p /export/software/
十二、上传jdk和hadoop
上传JDK
cd /export/server/
yum install lrzsz（rz是从本地电脑上传到linux，sz相反）
rz（选择对应的jdk版本举行上传）
上传hadoop（和上传jdk步骤一样，不再赘述）
十三、解压jdk和hadoop并配置环境变量
1、解压jdk
tar -zxvf jdk-8u241-linux-x64.tar.gz（在/export/server/目录下）
vim /etc/profile（使用shell下令Go下令跳转到最后一行添加如下环境配置）
export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH  JAVA_HOME/bin
export CLASSPATH=. JAVA_HOME/lib/dt.jar JAVA_HOME/lib/tools.jar
#重新加载环境变量文件
source /etc/profile
检测是否配置成功 java -version
（可以看到此时java的版本是1.8.0_262为体系自带jdk不是我们配置的jdk1.8.0_241，linux中自带的jdk与安装的jdk版本不同等）
解决jdk版本问题，按照下面步骤举行：
sudo rm -rf /usr/bin/java
sudo rm -rf /usr/bin/javac
再次启用体系文件/etc/profile
source /etc/profile
查询jdk版本
java -version
javac -version（显示jdk成功安装）
2、解压hadoop：tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
配置环境变量
进入/export/server/hadoop-3.3.0/etc/Hadoop
3、配置hadoop-env.sh
文件最后添加如下代码
export JAVA_HOME=/export/server/jdk1.8.0_241
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
4、将hadoop添加到环境变量
vim /etc/profile
将如下代码添加进去
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATHHADOOP_HOME/binHADOOP_HOME/sbin
5、重启动体系文件/etc/profile
source /etc/profile
6、查询hadoop版本
hadoop version
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 | 
