部署HDFS集群

上传hadoop-3.3.4.tar.gz到/export/server

解压

1. tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/
2. # 快捷方式
3. ln -s /export/server/hadoop-3.3.4 hadoop

复制代码

Hadoop安装包目录结构

目录说明bin存放Hadoop的各类程序（命令）etc存放Hadoop的配置文件sbin管理员程序（super bin）includeC语言的一些头文件lib存放Linux系统的动态链接库（.so文件）libexec存放配置Hadoop系统的脚本文件（.sh和.cmd）licenses-binary存放许可证文件share存放二进制源码（Java jar包）配置集群

• workers：配置从节点（DataNode）有哪些
  
• hadoop-env.sh：配置Hadoop的相关环境变量
  
• core-site.xml：Hadoop核心配置文件
  
• hdfs-site.xml：HDFS核心配置文件
  

这些文件均存在与 HADOOP_HOME/etc/hadoop文件夹中。
HADOOP_HOME:/export/server/hadoop, 这个后期配置成环境变量

1. cd /export/server/hadoop/etc/hadoop/

复制代码

1. # 配置workers文件
2. vim workers
3. # 填入node1 node2 node 3

复制代码

1. # 配置hadoop-env.sh文件
2. # 填入以下内容
3. export JAVA_HOME=/export/server/jdk
4. export HADOOP_HOME=/export/server/hadoop
5. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
6. export HADOOP_LOG_DIR=$HADOOP_HOME/logs

复制代码

1. # 配置core-site.xml文件
2. # 在文件内部填入如下内容
3. <configuration>
4.   <property>
5.     <name>fs.defaultFS</name>
6.     <value>hdfs://node1:8020</value>
7.   </property>
9.   <property>
10.     <name>io.file.buffer.size</name>
11.     <value>131072</value>
12.   </property>
13. </configuration>

复制代码

Key含义值备注fs.defaultFSHDFS文件系统的网络通讯路径hdfs://node1:8020协议为hdfs://,namenode为node1,namenode通讯端口为8020io.file.buffer.sizeio操作文件缓冲区大小131072 bithdfs://node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）
表明DataNode将和node1的8020端口通讯，node1是NameNode所在机器
此配置固定了node1必须启动NameNode进程

1. # 配置hdfs-site.xml文件
2. # 在文件内部填入如下内容
3. <configuration>
4.   <property>
5.     <name>dfs.datanode.data.dir.perm</name>
6.     <value>700</value>
7.   </property>
8.   <property>
9.     <name>dfs.namenode.name.dir</name>
10.     <value>/data/nn</value>
11.   </property>
12.   <property>
13.     <name>dfs.namenode.hosts</name>
14.     <value>node1,node2,node3</value>
15.   </property>
16. <property>
17.     <name>dfs.blocksize</name>
18.     <value>268435456</value>
19.   </property>
20.   <property>
21.     <name>dfs.namenode.handler.count</name>
22.     <value>100</value>
23.   </property>
24.   <property>
25.     <name>dfs.datanode.data.dir</name>
26.     <value>/data/dn</value>
27.   </property>
28. </configuration>

复制代码

hdfs-site.xml 简单说明:
Key含义值dfs.datanode.data.dir.permhdfs文件系统，默认创建的文件权限设置700，即：rwx------dfs.namenode.name.dirNameNode元数据的存储位置/data/nn，在node1节点的/data/nn目录下dfs.namenode.hostsNameNode允许哪几个节点的DataNode连接（即允许加入集群）node1、node2、node3，这三台服务器被授权dfs.blocksizehdfs默认块大小268435456（256MB）dfs.namenode.handler.countnamenode处理的并发线程数100，以100个并行度处理文件系统的管理任务dfs.datanode.data.dir从节点DataNode的数据存储目录/data/dn，即数据存放在node1、node2、node3，三台机器的/data/dn内

1. # namenode数据存放node1的/data/nn
2. # datanode数据存放node1、node2、node3的/data/dn
4. # 在node1节点执行：
5. mkdir -p /data/nn
6. mkdir /data/dn
7. # 在node2和node3节点：
8. mkdir -p /data/dn

复制代码

分发Hadoop文件夹

1. cd /export/server
2. scp -r hadoop-3.3.4 node2:$PWD
3. scp -r hadoop-3.3.4 node3:$PWD

复制代码

1. # 登陆node2/3分别执行创建软连接命令
2. ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

复制代码

配置环境变量

1. # 为了方便以后的操作把常用的hadoop命令配置成环境变量 [node1/2/3都配置]
2. vim /etc/profile
3. # 在/etc/profile文件底部追加如下内容
4. export HADOOP_HOME=/export/server/hadoop
5. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6. source /etc/profile

复制代码

1. # 环境变量配置好了可以执行 hadoop version看看效果
2. hadoop version
3. #输出如下
4. Hadoop 3.3.4
5. Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
6. Compiled by stevel on 2022-07-29T12:32Z
7. Compiled with protoc 3.7.1
8. From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
9. This command was run using /export/server/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar

复制代码

授权hadoop用户

1. # 为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务
2. # (之前说过创建hadoop,并配置hadoop用户之间的免密登陆)
3. # 以root账户执行下面的命令,(node 1/2/3都要执行)
4. chown -R hadoop:hadoop /data
5. chown -R hadoop:hadoop /export

复制代码

格式化文件系统

1. # 确保以hadoop用户执行
2. su - hadoop
3. # 格式化namenode
4. # 因为我们在前面配置了环境变量,因此可以直接hadoop命令来操作,简单粗暴
5. hadoop namenode -format

复制代码

Hadoop 启动

1. # 一键启动hdfs集群
2. start-dfs.sh
3. # 一键关闭hdfs集群
4. stop-dfs.sh

复制代码

windows下的hosts文件也映射下

1. 192.168.88.131 node1
2. 192.168.88.132 node2
3. 192.168.88.133 node3

复制代码

最后打开 http://node1:9870/
可以看到集群状态

快照

执行init 0 命令,把三台虚拟机关机在虚拟机上拍摄快照.

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！