ToB企服应用市场:ToB评测及商务社交产业平台

标题: 最新版hadoop-3.4.0集群安装和设置（目前论坛的都是老古董了，看我的准没错 [打印本页]

作者: 络腮胡菲菲 时间: 2024-10-18 12:13
标题: 最新版hadoop-3.4.0集群安装和设置（目前论坛的都是老古董了，看我的准没错
一.在ali-nginx-vm设置免密登录，ali-nginx-vm–>Redis集群三个服务器方向可免密，三台服务器互相切换可免密（步调相同不做赘述）反过来未设置
1.在ali-nginx-vm利用如下命令

ssh-keygen -t rsa

复制代码

2.双击两次回车天生公钥

3.分别发送到如下三台呆板，用如下命令

ssh-copy-id root@172.16.0.226

复制代码

4.依次发送输入密码：

5.测试免密登录乐成

可以略过，将所必要的集群服务器设置免密即可
6.三台服务器设置jdk，利用scp命令将ali-business-vm1服务器上的jdkrpm文件分别复制到对应三台服务器，作为hadoop的Java环境

7.切换服务器查看复制乐成

8.在三台服务器分别解压（别的两台类似不做赘述）：
命令：

rpm -ivh jdk-8u421-linux-x64.rpm #默认解压到/usr/java目录

复制代码

9.修改/etc/profile文件设置环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0-x64
export PATH=$JAVA_HOME/bin:$PATH

复制代码

10.使变量见效

source /etc/profile

复制代码

并利用

java -version

复制代码

查看设置乐成：

11.在主节点vm1下载hadooptar包

12.设置主机映射

vim /etc/hosts

复制代码

13.分别复制到别的两台服务器并检验乐成

15，将hadoop解压到hadoop目录之下：

tar -zxvf hadoop-3.4.0.tar.gz -C /hadoop

复制代码

16.进入hadoop目录查看是否解压乐成

17.在主节点上编辑Hadoop设置文件（/hadoop/hadoop-3.4.0/etc/hadoop/）：

hadoop-env.sh：设置JAVA_HOME和其他环境变量。
core-site.xml：设置文件系统的默认FS和IO设置。
hdfs-site.xml：设置HDFS的副本策略和数据存储。
mapred-site.xml：设置MapReduce作业的运行。
yarn-site.xml：设置YARN的资源管理。
workers（较低版本是slaves）：列出所有从节点的IP地址或主机名。

18.各文件设置信息如下（某些设置不是必须的，可以依据个人作业环境增删相关设置）：
hadoo-env.sh

加入一行：export JAVA_HOME=/usr/java/jdk1.8.0-x64 #为Java的环境路径（换成自己的）

复制代码

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://ali-kafka-vm1:9000</value> #//后面的主机名端口可自定义
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value> #临时文件目录可自定义
</property>
</configuration>

复制代码

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/hdfs/namenode</value> #设置NameNode存储文件系统镜像的路径。
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/hdfs/datanode</value> #设置DataNode存储数据块的路径。
</property>
</configuration>

复制代码

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name> #指定MapReduce作业运行在YARN上。
<value>yarn</value>
</property>
#以下配置用于在任务执行过程中定位 Hadoop MapReduce 相关的类和资源。例如，如果任务需要引用 Hadoop MapReduce 的库或者使用 Hadoop 的一些脚本，它们可以通过 HADOOP_MAPRED_HOME 环境变量来找到正确的路径。
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/hadoop/hadoop-3.4.0</value> #设置了 ApplicationMaster 的环境变量
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/hadoop/hadoop-3.4.0</value> #设置了 Map 任务的环境变量。
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/hadoop/hadoop-3.4.0</value> #设置了 Reduce 任务的环境变量
</property>
</configuration>

复制代码

yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ali-kafka-vm1</value> #指定ResourceManager的主机名或IP地址
</property>
<property>
<name>yarn.nodemanager.aux-services</name> #设置NodeManager上运行的辅助服务
<value>mapreduce_shuffle</value>
</property>
</configuration>

复制代码

wokers

ali-kafka-vm2 #列出所有从节点的主机名或IP
ali-kafka-vm3

复制代码

17.利用scp命令将hadoop目录复制到别的两台服务器

scp -r /hadoop root@ali-kafka-vm3:/hadoop

复制代码

三台服务器均修改/etc/profile添加hadoop环境变量如下，并source
1. export HADOOP_HOME=/hadoop/hadoop-3.4.0
2. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3. export HDFS_NAMENODE_USER=root
4. export HDFS_DATANODE_USER=root
5. export HDFS_SECONDARYNAMENODE_USER=root
6. export YARN_RESOURCEMANAGER_USER=root
7. export YARN_NODEMANAGER_USER=root
复制代码
查看是否设置乐成（别的两节点操纵相同）
格式化HDFS，在主节点执行以下命令