Hadoop伪分布式集群的搭建【详细教程】

前言：

        在大数据和分布式盘算领域，搭建伪分布式系统是一种常见的实验和开发方式。伪分布式系统，也称为模拟分布式系统或模拟集群，重要用于模拟真实的分布式环境，以便进行开发和测试。在搭建伪分布式系统之前，相识其目标和优势是至关重要的。

一、前期准备工作

准备工作一	准备一台centOS6的虚拟机、一台Windows11的笔记本电脑
准备工作二	准备好Hadoop3.x以上的压缩包
准备工作三	准备好jdk8的压缩包

---

二、组网搭建

1.配置网络IP

   1.1 将虚拟机网络的连接改成自界说模式（VMnet8模式）

注：静态网络的配置在另外一篇博客里

   1.2 修改ifcfg-eth0网络配置

   1.3 重新启动网络服务

1. service network restart

复制代码

   1.4 测试配置的IP、网关能否ping通

2.关闭防火墙

   2.1 暂时关闭防火墙

       2.1.1 检察防火墙状态

1. service iptables status

复制代码

   

       2.1.2 关闭防火墙

1. service iptables stop

复制代码

   2.2 永世关闭防火墙

1. chkconfig iptables off

复制代码

3.修改主机名

    3.1 暂时修改主机名

1. hostname Master

复制代码

注：这个根据自己的需求改！

   3.2 永世修改主机名

1. vim /etc/sysconfig/network

复制代码

注：修改内里的hostname，其他的不要动！

4.绑定主机IP和主机名

1. vim /etc/hosts

复制代码

到此，便完成了组网的搭建！

---

三、配置Hadoop伪分布式集群

注：创建平凡用户去搭建！
   1.创建平凡用户、配置免密登录

       1.1 创建平凡用户

1. #创建hd普通用户
2. useradd hd
4. #修改其密码
5. passwd hd

复制代码

1.2 配置免密登录

1. #配置免密钥
2. ssh-keygen -t rsa

复制代码

1. #切入.ssh目录下
2. cd .ssh/

复制代码

1. #将公钥复制到公钥库
2. cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

复制代码

 
配置免密登录成功！


2.创建一个目录，用于管理上传的jdk和Hadoop压缩包

• 注：根据自己的喜好创建，不想创建也可以！
  

• 进入创建的software目录下
  

• 将jdk和Hadoop压缩包上传到该目录下
  

3.解压jdk和Hadoop、配置java、Hadoop环境变量

• 解压
  

• 配置环境变量
  

1. #配置用户环境变量
2. vim .bash_proile

复制代码

1. #刷新环境变量
2. source .bash_profile

复制代码

4.配置Hadoop集群所需的核心文件

  4.1 在software目录下创建hadooptmp目录

• 用于存放初始化Hadoop时产生的数据
  

 4.2 在hadoop-env.sh文件中添加jdk安装路径

1. #切到该目录下
2. cd hadoop-3.3.0/etc/hadoop/
4. #编辑hadoop-env.sh
5. vim hadoop-env.sh

复制代码

 4.3 配置core-site.xml文件

1. vim core-site.xml

复制代码

 4.4 配置hdfs-site.xml文件

1. vim hdfs-site.xml

复制代码

 4.5 配置mapred-site.xml文件

1. vim mapred-site.xml

复制代码

 4.6 配置yarn-site.xml文件

1. vim yarn-site.xml

复制代码

4.7 配置works文件

1. vim works

复制代码

5.格式化namenode

1. hadoop namenode -format

复制代码

6.启动Hadoop伪分布式集群

1. start-all.sh

复制代码

7.检察集群启动Web UI页面能否访问

• 检察集群9870端口
  

• 检察集群8088端口
  

 到此，Hadoop伪分布式集群就搭建成功了！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。