(图文并茂)基于CentOS-7搭建hadoop3.3.6大数据集群

莱莱  金牌会员 | 2024-7-21 10:34:34 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 574|帖子 574|积分 1722

目次
安装假造机
为hadoop用户添加权限
关闭防火墙
修改主机名以及ip所在映射
配置静态IP
连接xshell ，以hadoop用户登录
创建目次并将该文件夹权限赋予hadoop用户
安装配置jdk
关闭假造机，克隆其他两个节点
修改主机名和ip所在
配置免密登录
安装配置hadoop
配置文件修改
集群初始化
检察进程和web界面


jdk下载所在(tar.gz结尾的)
Java Downloads | Oracle
hadoop下载所在(tar.gz结尾的)
apache-hadoop-core-hadoop-3.3.6安装包下载_开源镜像站-阿里云 (aliyun.com)
安装假造机

CentOS-7安装教程-CSDN博客
linux命令不熟悉的可以看这篇
linux常用命令之大数据平台搭建版-CSDN博客
切换为命令行模式
linux图形化界面和字符界面的转换_linux图形界面切换到字符界面命令-CSDN博客

为hadoop用户添加权限

vim   /etc/sudoers

关闭防火墙

注：（root用户）

systemctl stop firewalld 关闭

systemctl disable firewalld 取消开机自启动

systemctl status firewalld 检查是否已关闭

修改主机名以及ip所在映射

主机名根据自己需要修改，ip所在后的就是映射的主机名

配置静态IP


点击假造网络编辑器，将网段修改为我们需要的网段



再修改配置文件/etc/sysconf ig/network-scripts/ifcfg-ens33
vim /etc/sysconf ig/network-scripts/ifcfg-ens33

重启网络服务：service network restart 

然后重启reboot （主机名用配置文件修改需要重启才会生效）
连接xshell ，以hadoop用户登录


创建目次并将该文件夹权限赋予hadoop用户

  1. [hadoop@ly01 ~]$ sudo mkdir /opt/bigdata
  2. [hadoop@ly01 ~]$ sudo chown hadoop:hadoop /opt/bigdata
复制代码


切换到该目次
  1. [hadoop@ly01 ~]$ cd /opt/bigdata/
复制代码
安装配置jdk

卸载OpenJDK、安装新版JDK、配置JDK
先用rpm -qa | grep java检察java-openjdk版本

根据上述情况，卸载1.7.0、1.8.0即可，差别镜像会略有差别
  1. sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
  3. sudo rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
  5. sudo rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
  7. sudo rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
复制代码
rz上传jdk文件
  1. [hadoop@ly01 bigdata]$ rz
  3. [hadoop@ly01 bigdata]$ ll
  4. total 135512
  5. -rw-r--r--. 1 hadoop hadoop 138762230 Jul 28  2023 jdk-8u361-linux-x64.tar.gz
复制代码
解压并重命名为jdk
  1. [hadoop@ly01 bigdata]$ tar -zxvf jdk-8u361-linux-x64.tar.gz
  2. [hadoop@ly01 bigdata]$ mv jdk1.8.0_361 jdk
  3. [hadoop@ly01 bigdata]$ ll
  4. total 135516
  5. drwxrwxr-x. 8 hadoop hadoop      4096 May 16 00:05 jdk
复制代码
配置情况变量
 vim /etc/profile
在末了添加以下内容
  1. export JAVA_HOME=/opt/bigdata/jdk
  2. export PATH=$PATH:$JAVA_HOME/bin
复制代码
使修改后配置文件生效 
  1. [hadoop@ly01 bigdata]$ source /etc/profile
复制代码
 检查是否安装成功
  1. [hadoop@ly01 bigdata]$ java -version
  2. java version "1.8.0_361"
  3. Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
  4. Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)
复制代码
关闭假造机，克隆其他两个节点




修改主机名和ip所在

节点2和3都需修改，修改之后重启reboot
sudo vim /etc/hostname 
vim /etc/sysconf ig/network-scripts/ifcfg-ens33

配置免密登录

重启之后通过xshell连接三个节点，均以hadoop用户登录
在每个节点都执行以下命令
  1. ssh-keygen  -t  rsa  （连续三次回车）
  2. ssh-copy-id  ly01   （输入yes,hadoop用户的密码）
  3. ssh-copy-id  ly02    （输入yes,hadoop用户的密码）
  4. ssh-copy-id  ly03    （输入yes,hadoop用户的密码）
复制代码


可在节点1ssh 连接其他节点测试是否成功
安装配置hadoop

切换目次，rz上传hadoop文件并解压,重命名
  1. [hadoop@ly01 ~]$ cd /opt/bigdata/
  2. [hadoop@ly01 bigdata]$ rz[hadoop@ly01 bigdata]$ tar -zxvf hadoop-3.3.6.tar.gz[hadoop@ly01 bigdata]$ mv hadoop-3.3.6 hadoop
复制代码
 配置情况变量
  1. [hadoop@ly01 bigdata]$ sudo vim /etc/profile
  3. #修改为以下内容
  4. export JAVA_HOME=/opt/bigdata/jdk
  5. export HADOOP_HOME=/opt/bigdata/hadoop
  6. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
  8. #生效
  9. [hadoop@ly01 bigdata]$ source /etc/profile
复制代码
配置文件修改

将hadoop-env.sh mapred-env.sh yarn-env.sh 参加JAVA_HOME变量
  1. [hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/hadoop-env.sh
  2. [hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/mapred-env.sh
  3. [hadoop@ly01 bigdata]$ echo "export JAVA_HOME=/opt/bigdata/jdk" >> /opt/bigdata/hadoop/etc/hadoop/yarn-env.sh
复制代码
切换目次
  1. [hadoop@ly01 bigdata]$ cd /opt/bigdata/hadoop/etc/hadoop
  2. [hadoop@ly01 hadoop]$
复制代码
节点名称按照自己的修改，文件目次不一样的话也要修改！！！
 core-site.xml修改
  1. <configuration>
  2.    <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://ly01:9000</value>
  5.     </property>
  6.     <property>
  7.         <name>hadoop.tmp.dir</name>
  8.         <value>file:/opt/bigdata/hadoop/tmp</value>
  9.     </property>
  10. </configuration>
复制代码
 hdfs-site.xml修改
  1. <configuration>
  2.     <property>
  3.         <name>dfs.replication</name>
  4.         <value>3</value>
  5.     </property>
  6.     <property>
  7.         <name>dfs.namenode.name.dir</name>
  8.         <value>file:/opt/bigdata/hadoop/tmp/dfs/name</value>
  9.     </property>
  10.     <property>
  11.         <name>dfs.datanode.data.dir</name>
  12.         <value>file:/opt/bigdata/hadoop/tmp/dfs/data</value>
  13.     </property>
  14. </configuration>
复制代码
 mapred-site.xml修改
  1. <configuration>
  2.     <property>
  3.         <name>mapreduce.framework.name</name>
  4.         <value>yarn</value>
  5.     </property>
  6. </configuration>
复制代码
 yarn-site.xml修改
  1. <configuration>
  2.     <property>
  3.         <name>yarn.nodemanager.aux-services</name>
  4.         <value>mapreduce_shuffle</value>
  5.     </property>
  6.     <property>
  7.         <name>yarn.resourcemanager.hostname</name>
  8.         <value>ly01</value>
  9.     </property>
  10. </configuration>
复制代码
 workers修改
  1. #删除原有内容，添加节点名称
  2. ly01
  3. ly02
  4. ly03
复制代码
 将节点1上的hadoop文件夹拷贝到别的节点2、节点3上、
  1. [hadoop@ly01 hadoop]$ scp -r /opt/bigdata/hadoop/ hadoop@ly02:/opt/bigdata/
  2. [hadoop@ly01 hadoop]$ scp -r /opt/bigdata/hadoop/ hadoop@ly03:/opt/bigdata/
复制代码
将节点1上的profile文件拷贝到别的节点2、节点3上,并到相应的机器上执行source
注：输入yes后输入root用户密码即可，如下
  1. [hadoop@ly01 hadoop]$ sudo scp /etc/profile root@ly02:/etc
  2. The authenticity of host 'ly02 (192.168.100.101)' can't be established.
  3. ECDSA key fingerprint is SHA256:g8y2CV35sHBpQEFYDXbO3dosU8UF4bABd3O0O3rPgDw.
  4. ECDSA key fingerprint is MD5:b0:ee:6e:25:e1:f2:f4:c9:3f:1a:e9:18:44:d2:a1:84.
  5. Are you sure you want to continue connecting (yes/no)? yes
  6. Warning: Permanently added 'ly02,192.168.100.101' (ECDSA) to the list of known hosts.
  7. root@ly02's password:
  8. profile                                                                                                                                                             100% 1961     1.1MB/s   00:00
  9. [hadoop@ly01 hadoop]$ sudo scp /etc/profile root@ly03:/etc
  10. The authenticity of host 'ly03 (192.168.100.102)' can't be established.
  11. ECDSA key fingerprint is SHA256:g8y2CV35sHBpQEFYDXbO3dosU8UF4bABd3O0O3rPgDw.
  12. ECDSA key fingerprint is MD5:b0:ee:6e:25:e1:f2:f4:c9:3f:1a:e9:18:44:d2:a1:84.
  13. Are you sure you want to continue connecting (yes/no)? yes
  14. Warning: Permanently added 'ly03,192.168.100.102' (ECDSA) to the list of known hosts.
  15. root@ly03's password:
  16. profile                                                                                                                                                             100% 1961     1.0MB/s   00:00   
  17. [hadoop@ly01 hadoop]$
复制代码
  1. #在节点2执行
  2. [hadoop@ly02 ~]$ source /etc/profile
  3. #在节点3执行
  4. [hadoop@ly03 ~]$ source /etc/profile
复制代码
集群初始化

  1. hadoop namenode -format
复制代码

启动hadoop集群
  1. start-yarn.sh
  2. start-dfs.sh
复制代码
 jps检察进程
节点1（主节点）
  1. [hadoop@ly01 hadoop]$ jps
  2. 2567 ResourceManager
  3. 3498 DataNode
  4. 3661 SecondaryNameNode
  5. 3390 NameNode
  6. 4334 NodeManager
  7. 4415 Jps
复制代码
从节点（都是三个进程）
  1. [hadoop@ly02 hadoop]$ jps
  2. 2761 Jps
  3. 2698 NodeManager
  4. 2493 DataNode
复制代码

检察进程和web界面

192.168.100.100:8088

192.168.100.100:9870



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

正序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

莱莱

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表