Hadoop的搭建流程

---

一、设置IP

1. vi /etc/sysconfig/network-scripts/ifcfg-ens33

复制代码

BOOTPROTO=“dbcp” 修改为 BOOTPROTO=“static”

1. IPADDR="192.168.187.128"
2. NETMASK="255.255.255.0"
3. GATEWAY="192.168.187.2"
4. DNS1="114.114.114.114"
5. DNS2="8.8.8.8"

复制代码

1. systemctl restart network  #重启网卡

复制代码

二、设置主机名

1. vi /etc/hostname

复制代码

三、设置主机映射

1. vi /etc/hosts

复制代码

修改完重启一下：reboot
四、关闭防火墙

1. systemctl stop firewalld

复制代码

五、设置免密

1. ssh-keygen -t rsa   #生成公钥和私钥
2. ssh-copy-id node01    #将公钥传递给你想免密登录的电脑,比如node01，也可以传给自己

复制代码

六、安装jdk

1、第一步：

1. mkdir -p /opt/modules     --以后存放安装包
2. mkdir -p /opt/installs    --以后存放解压后的软件

复制代码

2、第二步：

1. tar -zxvf jdk-8u321-linux-x64.tar.gz -C /opt/installs  //解压
2. 进入文件夹 cd /opt/installs
3. 进行重命名 mv jdk1.8.0_171 jdk

复制代码

3、第三步：

1. vi /etc/profile
2. export JAVA_HOME=/opt/installs/jdk
3. export PATH=$PATH:$JAVA_HOME/bin

复制代码

在文件的末了追加，不要删除别人的任何设置。
4、第四步：

1. source /etc/profile

复制代码

5、第五步：

1. java -version

复制代码

七、安装hadoop

1、上传

2、解压

1.    tar -zxvf hadoop-3.3.1.tar.gz -C /opt/installs/

复制代码

3、重命名

1.    cd /opt/installs/
2.    mv hadoop-3.3.1 hadoop

复制代码

4、开始设置环境变量

1.    vi /etc/profile
2. export JAVA_HOME=/opt/installs/jdk
3. export HADOOP_HOME=/opt/installs/hadoop
4. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

5、革新设置文件

1.    source /etc/profile

复制代码

6、验证hadoop下令是否可以识别

1.    hadoop version

复制代码

八、全分布搭建

环境准备⼯作：
1、安装了jdk
2、设置host映射
3、免密登录
4、第一台安装了hadoop
5、关闭了防⽕墙
systemctl status firewalld
6、修改linux的⼀个安全机制
vi /etc/selinux/config
修改⾥⾯的 SELINUX=disabled
7、修改设置文件core-site.xml

路径：/opt/installs/hadoop/etc/hadoop/core-site.xml

1. <configuration>
3.     <!--hdfs的配置-->
4.     <!-- 设置namenode节点 -->
5.     <!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 -->
6.     <property>
7.         <name>fs.defaultFS</name>
8.         <value>hdfs://node01:9820</value>
9.     </property>
10.     <!-- hdfs的基础路径，被其他属性所依赖的⼀个基础路径 -->
11.     <property>
12.         <name>hadoop.tmp.dir</name>
13.         <value>/opt/installs/hadoop/tmp</value>
14.     </property>
15.    
16. </configuration>

复制代码

8、修改设置文件hdfs-site.xml

路径：/opt/installs/hadoop/etc/hadoop/hdfs-site.xml

1. <configuration>
4.     <!--hdfs的配置-->
5.     <property>
6.         <name>dfs.replication</name>
7.         <value>3</value>
8.     </property>
9.     <!--secondarynamenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
10.     <property>
11.         <name>dfs.namenode.secondary.http-address</name>
12.         <value>node02:9868</value>
13.     </property>
14.     <!-- namenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
15.     <property>
16.         <name>dfs.namenode.http-address</name>
17.         <value>node01:9870</value>
18.     </property>
19.    
20.    
21. </configuration>

复制代码

9、修改设置文件hadoop-env.sh

路径：/opt/installs/hadoop/etc/hadoop/hadoop-env.sh

1. export JAVA_HOME=/opt/installs/jdk
2. <-- Hadoop3中，需要添加如下配置，设置启动集群⻆⾊的⽤户是谁-->
3. export HDFS_NAMENODE_USER=root
4. export HDFS_DATANODE_USER=root
5. export HDFS_SECONDARYNAMENODE_USER=root
6. export YARN_RESOURCEMANAGER_USER=root
7. export YARN_NODEMANAGER_USER=root

复制代码

10、修改设置文件workers

路径：/opt/installs/hadoop/etc/hadoop/workers

1. node01
2. node02
3. node03

复制代码

11、修改完了第一台的设置文件，开始分发到其他两台上去。

1. xsync.sh /opt/installs/hadoop

复制代码

12、拷贝环境变量：

1. xsync.sh /etc/profile

复制代码

革新环境变量

1. source /etc/profile

复制代码

13、在主节点 格式化namenode

1. hdfs namenode -format

复制代码

14、只在第一台启动hdfs
start-dfs.sh
九、启动后的jps进程：

节点进程：
node01
NameNode，DataNode
node02
SecondaryNameNode，DataNode
node03
DataNode

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。