大数据基石Hadoop3.x 集群安装

机器规划


环境准备

安装JDK

1. 1. 在所有机器上安装jdk8
2. 2. 配置好环境变量
4. vi /etc/profile
6. JAVA_HOME=/usr/local/jdk1.8.0_152
7. PATH=$PATH:$JAVA_HOME/bin
9. export JAVA_HOME
10. export PATH
12. source /etc/profile

复制代码

配置免密登录

1. 1）首先在node-2机器上操作
2. 2）生成密钥对 ssh-keygen -t rsa
3. 3）进入/root/.ssh目录，将公钥复制到其他机器
4. ssh-copy-id node-2
5. ssh-copy-id node-3
6. ssh-copy-id node-4
8. 4) 在node-3和snode-4上分别执行上述步骤

复制代码

关闭防火墙和selinux

1. 1）关闭防火墙
2. systemctl stop firewalld
3. systemctl disable firewalld
5. 2）关闭selinux
6. vi /etc/selinux/config  设置SELINUX=disabled
8. 3）重启系统 reboot
10. 4）在每台机器执行上述操作

复制代码

安装Hadoop

1.创建目录，在node-2、node-3、node-4上创建下述目录

1. /mnt/data/hadoop/pid
2. /mnt/data/hadoop/tmp
3. /mnt/data/hadoop/dfs/name
4. /mnt/data/hadoop/dfs/data
5. /mnt/data/hadoop/dfs/namesecondary
6. /mnt/data/hadoop/dfs/edits
7. /mnt/data/hadoop/logs

复制代码

2.将 hadoop-3.2.2.tar.gz解压到 /opt/software/hadoop-3.2.2
3.配置Hadoop环境变量, 在node-2、node-3、node-4上分别执行下述配置

1. vi /etc/profile 追加以下内容
3.   HADOOP_HOME=/opt/software/hadoop-3.2.2
4.   PATH=$PATH:$HADOOP_HOME/bin
5.   export HADOOP_HOME
6.   export PATH
8. 使配置生效 source /etc/profile

复制代码

4.配置hadoop-env.sh

1. export JAVA_HOME=/opt/software/jdk1.8.0_152
2. export HDFS_NAMENODE_USER=root
3. export HDFS_DATANODE_USER=root
4. export HDFS_SECONDARYNAMENODE_USER=root
5. export YARN_RESOURCEMANAGER_USER=root
6. export YARN_NODEMANAGER_USER=root
7. export HADOOP_PID_DIR=/mnt/data/hadoop/pid
8. export HADOOP_LOG_DIR=/mnt/data/hadoop/logs

复制代码

5.配置core-site.xml

1. <configuration>
2.     <property>
3.         <name>fs.defaultFS</name>
4.         <value>hdfs://node-2:9870</value>
5.     </property>
6.     <property>
7.         <name>hadoop.tmp.dir</name>
8.         <value>/mnt/data/hadoop/tmp</value>
9.     </property>
10. </configuration>

复制代码

6.配置hdfs-site.xml

1. <configuration>
2.       <property>
3.               <name>dfs.namenode.secondary.http-address</name>
4.               <value>node-3:9868</value>
5.       </property>
6.       <property>
7.               <name>dfs.replication</name>
8.               <value>2</value>
9.       </property>
10.       <property>
11.               <name>dfs.namenode.name.dir</name>
12.               <value>/mnt/data/hadoop/dfs/name</value>
13.       </property>
14.       <property>
15.               <name>dfs.datanode.data.dir</name>
16.               <value>/mnt/data/hadoop/dfs/data</value>
17.       </property>
18.        <property>
19.              <name>dfs.namenode.checkpoint.dir</name>
20.              <value>/mnt/data/hadoop/dfs/namesecondary</value>
21.       </property>
22.       <property>
23.              <name>dfs.namenode.checkpoint.edits.dir</name>
24.              <value>/mnt/data/hadoop/dfs/edits</value>
25.       </property>
26.       <property>
27.              <name>dfs.datanode.handler.count</name>
28.              <value>30</value>
29.       </property>
30.        <property>
31.              <name>dfs.namenode.handler.count</name>
32.              <value>30</value>
33.       </property>
34. </configuration>

复制代码

7.配置mapred-site.xml

1. <configuration>
2.     <property>
3.         <name>mapreduce.framework.name</name>
4.         <value>yarn</value>
5.     </property>
6. </configuration>

复制代码

8.配置yarn-site.xml

1. <configuration>
2.     <property>
3.         <name>yarn.nodemanager.aux-services</name>
4.         <value>mapreduce_shuffle</value>
5.     </property>
6.     <property>
7.         <name>yarn.log-aggregation-enable</name>
8.         <value>true</value>
9.     </property>
10.      <property>
11.         <name>yarn.log.server.url</name>
12.         <value>http://node-4:19888/jobhistory/logs</value>
13.     </property>
14.     <property>
15.         <name>yarn.log-aggregation.retain-seconds</name>
16.         <value>604800</value>
17.     </property>
19. </configuration>

复制代码

9.配置workers

1. vi workers
3. node-3
4. node-4

复制代码

10.配置log4j.properties

1. hadoop.log.dir=/mnt/data/hadoop/logs

复制代码

11.复制 /opt/software/hadoop-3.2.2 到node-3和node-4

1. scp -r /opt/software/hadoop-3.2.2 root@node-3:/opt/software/hadoop-3.2.2
2. scp -r /opt/software/hadoop-3.2.2 root@node-4:/opt/software/hadoop-3.2.2

复制代码

格式化和启动Hadoop

1.格式化，在node-2上执行

1. bin/hdfs namenode -format

复制代码

2.启动hdfs, 在node-2上执行

1. sbin/start-dfs.sh
3. 停止命令:sbin/stop-dfs.sh

复制代码

3.启动yarn, 在node-2上执行

1. sbin/start-yarn.sh
3. 停止命令:sbin/stop-yarn.sh

复制代码

• 启动jobhistory,在node-4上执行
  

1. bin/mapred --daemon start historyserver
3. 停止命令:bin/mapred --daemon stop historyserver

复制代码

页面访问

• HDFS NameNode: http://node-2:9870/
  
  
• YARN ResourceManager: http://node-2:8088/
  
  
• MapReduce JobHistory Server: http://node-4:19888/
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！