数据仓库与分析2024年大数据最新Hadoop 完全分布式部署_hadoop分布式安装部署(1)，一名毕

莫张周刘王 发表于 2024-6-19 01:05:59

2024年大数据最新Hadoop 完全分布式部署_hadoop分布式安装部署(1)，一名毕

https://img-blog.csdnimg.cn/img_convert/ae24eb0ed6c09efd1650270cf3bfab3b.png
https://img-blog.csdnimg.cn/img_convert/0becb18858ebd95844c5ddd86dcf5aef.png
https://img-blog.csdnimg.cn/img_convert/52ee9e42fc6ce292d9ac21367388ef02.png
既有得当小白学习的零基础资料，也有得当3年以上经验的小搭档深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目次截图出来，全套包罗大厂面经、学习条记、源码讲义、实战项目、大纲路线、讲解视频，而且后续会连续更新
必要这份体系化资料的朋友，可以戳这里获取
1.BOOTPROTO设置为static，表示IP为静态的。
2.GATEWAY设置为上一步查询到的现实网关地址。
3.IPADDR设置为网关所在的网段，这里查到的网段为10.90.100.0
5. 关闭防火墙

# systemctl stop firewalld
# systemctl disable firewalld

6.克隆主机

（1）选中node1用来克隆出node2和node3主机，点击假造机–>管理–>克隆
https://img-blog.csdnimg.cn/da3e7d351130426a91ebee732dbee830.png
完备克隆
https://img-blog.csdnimg.cn/1761de98e921459fa57eb057528bddce.png
https://img-blog.csdnimg.cn/direct/da676529e5af43c6a7774672631ad5c4.png
用同样的方法克隆出node3
修改主机名
在node2上登录平凡用户hadoop进行操作
修改主机名
$ sudo hostnamectl set-hostname node2
password for hadoop:

查看主机名
$ hostname
node2

重启呆板
$ sudo reboot

同样的方法：
修改node3的主机名为node3
设置静态IP
静态IP的设置过程参照第一部分
node2 ip设置为 10.90.100.122
node3 ip设置为 10.90.100.123

修改ip与主机名的映射
$ sudo vi /etc/hosts

添加如下内容
10.90.100.121 node1
10.90.100.122 node2
10.90.100.123 node3

重启呆板
$ sudo reboot

同样的方法，修改node2、node3呆板。
7.设置呆板之间免密登录

在node1呆板操作：
ssh-keygen -t rsa

执行命令后，连续敲击三次回车键
$ ssh-keygen -t rsa

Generating public/private rsa key pair.Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Created directory '/home/hadoop/.ssh'.Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsa.Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.The key fingerprint is:SHA256:MOzp1MyZUfA69Wi3JEVoOXB4qkbRXr0t47ZCR2AgE2s hadoop@node1The key's randomart image is:+-------+|    +o+=o+. || ..+o+X.. ||    Eo.*oo.o || o.Bo* += .|| .+.S +o+o || ooo.++. || ... o.. ||       . . ||       . |+---------+ 拷贝公钥
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

执行ssh-copy-id命令后，根据提示输入yes，再输入呆板登录暗码
https://img-blog.csdnimg.cn/direct/e3269364a70c4e8bae0b65eb18a66aae.png
验证从node1发起ssh登录到node2，过程中不必要登录暗码为设置成功。利用exit退出免密登录。
同样的方法，在node2、node3呆板上设置呆板之间免密登录操作。
8.编写分发脚本

安装rsync命令
$ rsync --help
-bash: rsync: command not found
$ sudo yum install rsync -y

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把全部文件都复制已往。
在主目次创建bin目次
$ mkdir ~/bin

创建分发脚本文件xsync
$ vim ~/bin/xsync

内容如下
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in node1 node2 node3
do
echo ====================$host====================
#3. 遍历所有目录，挨个发送
for file in $@
do
   #4. 判断文件是否存在
   if [ -e $file ]
         then
            #5. 获取父目录
            pdir=$(cd -P $(dirname $file); pwd)
            #6. 获取当前文件的名称
            fname=$(basename $file)
            ssh $host "mkdir -p $pdir"
            rsync -av $pdir/$fname $host:$pdir
         else
            echo $file does not exists!
   fi
done
done

修改权限
$ chmod +x ~/bin/xsync

测试
分别在node2、node3呆板安装xsync命令
sudo yum install rsync -y

把xsync命令发送到node2、node3
xsync /home/hadoop/bin

二、安装JDK

① 上传jdk文件到已经安装好的node1，上传方式有很多，任选一种方式即可：
② 上传成功后，通过 ls 命令查看是否上传成功
③ 解压jdk-8u202-linux-x64.tar.gz到/opt/module/hadoop目次下：
$ tar -zxvfjdk-8u202-linux-x64.tar.gz -C /opt/module/hadoop

没有/opt/module/hadoop目次先创建，由于是利用hadoop平凡用户，把hadoop目次的所属用户改为hadoop
$ sudo chown hadoop:hadoop -R /opt/module/hadoop

④建立 JDK 软链接，以方便后续利用:
$ cd/opt/module/hadoop/
$ ln -s/opt/module/hadoop/jdk1.8.0_202 jdk

⑤ 设置 JDK 情况变量 :
$ sudo vim /etc/profile

vim 为打开文件命令
在文件内容的末尾添加如下代码（注意：等号两侧不要有空格）。
export JAVA\_HOME=/opt/module/hadoop/jdk
export JRE\_HOME=${JAVA\_HOME}/jre
export CLASSPATH=$JAVA\_HOME/lib/dt.jar:$JAVA\_HOME/lib/tools.jar:.
export PATH=${JAVA\_HOME}/bin:$PATH

⑥ 使设置生效：
$ source /etc/profile

⑦ 检验是否安装成功：
$ java -version
java version "1.8.0\_202"
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

三、Hadoop集群安装部署

1.安装Hadoop

(1) 上传hadoop安装包到已经安装好的node1，上传方式有很多，任选一种方式即可
(2)上传成功后，通过 ls 命令查看是否上传成功
(3)解压hadoop-3.3.4.tar.gz到/opt/module/hadoop/目次下
$ tar -xzvf hadoop-3.3.4.tar.gz -C/opt/module/hadoop/

(4)建立 hadoop软链接，以方便后续利用
$ cd/opt/module/hadoop/
$ ln -s/opt/module/hadoop/hadoop-3.3.4 hadoop

(5)设置 hadoop 情况变量
$ sudo vim /etc/profile

在文件内容的末尾添加如下代码（注意：等号两侧不要有空格）。
export HADOOP\_HOME=/opt/module/hadoop/hadoop
export PATH=$PATH:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

(6) 使设置生效：
$ source /etc/profile

(7) 校验
$ hadoop version
Hadoop 3.3.4
Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
Compiled by stevel on 2022-07-29T12:32Z
Compiled with protoc 3.7.1
From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
This command was run using /opt/module/hadoop/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar
$

看到hadoop版本号输出，说明情况变量设置成功
2.设置Hadoop 集群

1）核心设置文件
设置core-site.xml
$ cd $HADOOP\_HOME/etc/hadoop
$vim core-site.xml

内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://node1:9820</value>
</property>

<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/module/hadoop/hadoop-3.3.4/data</value>
</property>


<property>
   <name>hadoop.http.staticuser.user</name>
   <value>hadoop</value>
</property>


<property>
   <name>hadoop.proxyuser.hadoop.hosts</name>
   <value>*</value>
</property>

<property>
   <name>hadoop.proxyuser.hadoop.groups</name>
   <value>*</value>
</property>

<property>
   <name>hadoop.proxyuser.hadoop.users</name>
   <value>*</value>
</property>
</configuration>

2)设置hdfs-site.xml
$ vim hdfs-site.xml

内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<property>
   <name>dfs.namenode.http-address</name>
   <value>node1:9870</value>
</property>

<property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>node3:9868</value>
</property>
</configuration>

3)设置yarn-site.xml
$ vim yarn-site.xml

内容如下：
<?xml version="1.0"?>
<configuration>

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>


<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>node2</value>
</property>


<property>
   <name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>


<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>512</value>
</property>
<property>
   <name>yarn.scheduler.maximum-allocation-mb</name>
   <value>2048</value>
</property>


<property>
   <name>yarn.nodemanager.resource.memory-mb</name>
   <value>2048</value>
</property>


<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>

</configuration>

4)设置mapred-site.xml
$ vim mapred-site.xml

内容如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
</configuration>

5)设置workers
$ vim workers

把原有的内容替换成如下内容：
node1
node2
node3

注意：该文件中添加的内容末端不允许有空格，文件中不允许有空行。
6)设置历史服务器
修改mapred-site.xml
$ vim mapred-site.xml

mapred-site.xml添加如下设置

<property>
   <name>mapreduce.jobhistory.address</name>
   <value>node1:10020</value>
</property>


<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>node1:19888</value>
</property>

文件最闭幕果：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
   
<property>
   <name>mapreduce.jobhistory.address</name>
   <value>node1:10020</value>
</property>


<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>node1:19888</value>
</property>

</configuration>

7)设置日记聚集
修改yarn-site.xml
$ vim yarn-site.xml

yarn-site.xml在<configuration></configuration>之间添加如下设置

<property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
</property>


<property>
   <name>yarn.log.server.url</name>
   <value>http://node1:19888/jobhistory/logs</value>
</property>


<property>
   <name>yarn.log-aggregation.retain-seconds</name>

!(https://img-blog.csdnimg.cn/img_convert/d492c33937c38569e132e630ae6a7e5b.png)
!(https://img-blog.csdnimg.cn/img_convert/400e21790b8150d27b674e272125b423.png)
!(https://img-blog.csdnimg.cn/img_convert/29f2941eb6f702ff28da506ca8a1b1e3.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

ml`在`<configuration></configuration>`之间添加如下配置


<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>


<property>
<name>yarn.log.server.url</name>
<value>http://node1:19888/jobhistory/logs</value>
</property>


<property>
<name>yarn.log-aggregation.retain-seconds</name>
[外链图片转存中…(img-cc2bVQ5x-1715610179015)]
[外链图片转存中…(img-F8dIwDi7-1715610179016)]
[外链图片转存中…(img-jyttyYJQ-1715610179016)]
既有得当小白学习的零基础资料，也有得当3年以上经验的小搭档深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目次截图出来，全套包罗大厂面经、学习条记、源码讲义、实战项目、大纲路线、讲解视频，而且后续会连续更新
必要这份体系化资料的朋友，可以戳这里获取

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

页: [1]

ToB企服应用市场:ToB评测及商务社交产业平台's Archiver

2024年大数据最新Hadoop 完全分布式部署_hadoop分布式安装部署(1)，一名毕