ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据基石Hadoop3.x 集群安装 [打印本页]
作者: 何小豆儿在此    时间: 2022-8-23 15:45
标题: 大数据基石Hadoop3.x 集群安装
机器规划


环境准备

安装JDK
  1. 1. 在所有机器上安装jdk8
  2. 2. 配置好环境变量
  4. vi /etc/profile
  6. JAVA_HOME=/usr/local/jdk1.8.0_152
  7. PATH=$PATH:$JAVA_HOME/bin
  9. export JAVA_HOME
  10. export PATH
  12. source /etc/profile
复制代码
配置免密登录
  1. 1）首先在node-2机器上操作
  2. 2）生成密钥对 ssh-keygen -t rsa
  3. 3）进入/root/.ssh目录，将公钥复制到其他机器
  4. ssh-copy-id node-2
  5. ssh-copy-id node-3
  6. ssh-copy-id node-4
  8. 4) 在node-3和snode-4上分别执行上述步骤
复制代码
关闭防火墙和selinux
  1. 1）关闭防火墙
  2. systemctl stop firewalld
  3. systemctl disable firewalld
  5. 2）关闭selinux
  6. vi /etc/selinux/config  设置SELINUX=disabled
  8. 3）重启系统 reboot
  10. 4）在每台机器执行上述操作
复制代码
安装Hadoop

1.创建目录，在node-2、node-3、node-4上创建下述目录
  1. /mnt/data/hadoop/pid
  2. /mnt/data/hadoop/tmp
  3. /mnt/data/hadoop/dfs/name
  4. /mnt/data/hadoop/dfs/data
  5. /mnt/data/hadoop/dfs/namesecondary
  6. /mnt/data/hadoop/dfs/edits
  7. /mnt/data/hadoop/logs
复制代码
2.将 hadoop-3.2.2.tar.gz解压到 /opt/software/hadoop-3.2.2
3.配置Hadoop环境变量, 在node-2、node-3、node-4上分别执行下述配置
  1. vi /etc/profile 追加以下内容
  3.   HADOOP_HOME=/opt/software/hadoop-3.2.2
  4.   PATH=$PATH:$HADOOP_HOME/bin
  5.   export HADOOP_HOME
  6.   export PATH
  8. 使配置生效 source /etc/profile
复制代码
4.配置hadoop-env.sh
  1. export JAVA_HOME=/opt/software/jdk1.8.0_152
  2. export HDFS_NAMENODE_USER=root
  3. export HDFS_DATANODE_USER=root
  4. export HDFS_SECONDARYNAMENODE_USER=root
  5. export YARN_RESOURCEMANAGER_USER=root
  6. export YARN_NODEMANAGER_USER=root
  7. export HADOOP_PID_DIR=/mnt/data/hadoop/pid
  8. export HADOOP_LOG_DIR=/mnt/data/hadoop/logs
复制代码
5.配置core-site.xml
  1. <configuration>
  2.     <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://node-2:9870</value>
  5.     </property>
  6.     <property>
  7.         <name>hadoop.tmp.dir</name>
  8.         <value>/mnt/data/hadoop/tmp</value>
  9.     </property>
  10. </configuration>
复制代码
6.配置hdfs-site.xml
  1. <configuration>
  2.       <property>
  3.               <name>dfs.namenode.secondary.http-address</name>
  4.               <value>node-3:9868</value>
  5.       </property>
  6.       <property>
  7.               <name>dfs.replication</name>
  8.               <value>2</value>
  9.       </property>
  10.       <property>
  11.               <name>dfs.namenode.name.dir</name>
  12.               <value>/mnt/data/hadoop/dfs/name</value>
  13.       </property>
  14.       <property>
  15.               <name>dfs.datanode.data.dir</name>
  16.               <value>/mnt/data/hadoop/dfs/data</value>
  17.       </property>
  18.        <property>
  19.              <name>dfs.namenode.checkpoint.dir</name>
  20.              <value>/mnt/data/hadoop/dfs/namesecondary</value>
  21.       </property>
  22.       <property>
  23.              <name>dfs.namenode.checkpoint.edits.dir</name>
  24.              <value>/mnt/data/hadoop/dfs/edits</value>
  25.       </property>
  26.       <property>
  27.              <name>dfs.datanode.handler.count</name>
  28.              <value>30</value>
  29.       </property>
  30.        <property>
  31.              <name>dfs.namenode.handler.count</name>
  32.              <value>30</value>
  33.       </property>
  34. </configuration>
复制代码
7.配置mapred-site.xml
  1. <configuration>
  2.     <property>
  3.         <name>mapreduce.framework.name</name>
  4.         <value>yarn</value>
  5.     </property>
  6. </configuration>
复制代码
8.配置yarn-site.xml
  1. <configuration>
  2.     <property>
  3.         <name>yarn.nodemanager.aux-services</name>
  4.         <value>mapreduce_shuffle</value>
  5.     </property>
  6.     <property>
  7.         <name>yarn.log-aggregation-enable</name>
  8.         <value>true</value>
  9.     </property>
  10.      <property>
  11.         <name>yarn.log.server.url</name>
  12.         <value>http://node-4:19888/jobhistory/logs</value>
  13.     </property>
  14.     <property>
  15.         <name>yarn.log-aggregation.retain-seconds</name>
  16.         <value>604800</value>
  17.     </property>
  19. </configuration>
复制代码
9.配置workers
  1. vi workers
  3. node-3
  4. node-4
复制代码
10.配置log4j.properties
  1. hadoop.log.dir=/mnt/data/hadoop/logs
复制代码
11.复制 /opt/software/hadoop-3.2.2 到node-3和node-4
  1. scp -r /opt/software/hadoop-3.2.2 root@node-3:/opt/software/hadoop-3.2.2
  2. scp -r /opt/software/hadoop-3.2.2 root@node-4:/opt/software/hadoop-3.2.2
复制代码
格式化和启动Hadoop

1.格式化，在node-2上执行
  1. bin/hdfs namenode -format
复制代码
2.启动hdfs, 在node-2上执行
  1. sbin/start-dfs.sh
  3. 停止命令:sbin/stop-dfs.sh
复制代码
3.启动yarn, 在node-2上执行
  1. sbin/start-yarn.sh
  3. 停止命令:sbin/stop-yarn.sh
复制代码
  1. bin/mapred --daemon start historyserver
  3. 停止命令:bin/mapred --daemon stop historyserver
复制代码
页面访问


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4