IT评测·应用市场-qidao123.com技术社区

标题: Hadoop家族之HDFS分布式文件体系 [打印本页]

作者: 知者何南 时间: 2025-4-18 16:03
标题: Hadoop家族之HDFS分布式文件体系
一、HDFS概念

HDFS先容

HDFS是 Hadoop Distribute File System 的简称，意为：Hadoop分布式文件体系。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
分布式文件体系解决的标题就是大数据存储。它们是高出在多台盘算机上的存储体系。分布式文件体系在大数据时代有着广泛的应用远景，它们为存储和处理超大规模数据提供所需的扩展能力。
DFS使用多台盘算机存储文件，并且提供同一的访问接口，像是访问一个普通文件系同一样使用分布式文件体系

HDFS设计目标

硬件故障是常态， HDFS将有成百上千的服务器组成，每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。
HDFS上的应用与一般的应用差别，它们重要是以流式读取数据。HDFS被设计成适合批量处理，而不是用户交互式的。相较于数据访问的反应时间，更注重数据访问的高吞吐量。
典范的HDFS文件巨细是GB到TB的级别。所以，HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持万万级别的文件。
大部分HDFS应用对文件要求的是write-one-read-many访问模子。一个文件一旦创建、写入、关闭之后就不必要修改了。这一假设简化了数据一致性标题，使高吞吐量的数据访问成为可能。
移动盘算的代价比之移动数据的代价低。一个应用哀求的盘算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将盘算移动到数据附近，比之将数据移动到应用所在显然更好。
在异构的硬件和软件平台上的可移植性。这将推动必要大数据集的应用更广泛地接纳HDFS作为平台。

二、HDFS重要特性

首先，HDFS 是一个文件体系，用于存储文件，通过同一的命名空间目录树来定位文件
其次，它是分布式的，由很多服务器团结实现其功能，集群中的服务器有各自的脚色

主从架构

HDFS集群式标准的master/slave主从架构集群
一般一个HDFS集群是由一个NameNode和一定数目标Datanode组成
Namenode是HDFS主节点，Datanode是HDFS从节点，两种脚色各司其职，共同协调完身分布式的文件存储服务。

分块存储

HDFS中的文件在物理上是分块存储（block）的，默认巨细是128M，不敷128M则本身就是一块
块（block）的巨细可用通过配置参数来规定，参数位于hdfs-default.xml中：dfs.blocksize。（默认是134217728，即128M）
分块存储好处：针对块并行操作提高效率

副本机制

文件的全部block都会有副本。副本系数可以在文件创建的时候指定，也可以在之后通过命令改变。
副本数由参数dfs.replication控制，默认值为3，也就是额外再复制2份，连同本身总共3份副本
设置副本备份的作用：冗余存储，保障数据安全

Namenode 元数据管理

我们把目录布局及文件分块位置信息叫元数据。Namenode负责维护整个hdfs文件体系的目录树布局，以及每一个文件对应的block块信息（block的id，及所在datanode服务器）
在HDFS中，Namenode管理的元数据具有两种类型：
- 文件自身的属性信息
  - 文件名称、权限、修改时间、文件巨细、复制因子、数据块巨细
- 文件块位置映射信息
  - 纪录文件块和DataNode之间的映射信息，即哪个位于哪个节点上
- 元数据纪录的功能：快速定位文件位置便于查找

Datanode数据存储

文件的各个block的具体存储管理由datanode节点负担。每一个block都可以在多个datanode上。Datanode必要定时向Namenode报告本身持有的block信息

名字空间（Namespace）

HDFS支持传统的层次型文件组织布局。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件体系名字空间的层次布局和大多数现有的文件体系雷同：用户可以创建、修改、删除、移动或重命名文件。
Namenode负责维护文件体系的名字空间，任何对文件体系名字空间或属性的修改都会被Namenode纪录下来。
HDFS会给客户端提供一个同一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。’

三、HDFS工作流程与机制

HDFS集群脚色

主脚色：namenode

NameNode是Hadoop分布式文件体系的核心，架构中的主脚色。
NameNode维护和管理文件体系元数据，包括名称空间目录树布局、文件和块的位置信息、访问权限等信息。
基于此，NameNode成为了访问HDFS的唯一入口。

从脚色：datanode

DataNode是Hadoop HDFS中的从脚色，负责具体的数据块存储。
DataNode的数量决定了HDFS集群的团体数据存储能力。通过和NameNode配合维护着数据块。

主脚色辅助脚色： secondarynamenode

除了DataNode和NameNode之外，尚有另一个守护进程，它称为secondary NameNode。充当NameNode的辅助节点，但不能替代NameNode。
当NameNode启动时，NameNode归并Fsimage和edits log文件以还原当前文件体系名称空间。假如edits log过大不利于加载，Secondary NameNode就辅助NameNode从NameNode下载Fsimage文件和edits log文件进行归并。

Namenode职责

NameNode仅存储HDFS的元数据：文件体系中全部文件的目录树，并跟踪整个集群中的文件，不存储现实数据。
NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道怎样从块中构建文件
NameNode不持久化存储每个文件中各个块所在的datanode的位置信息，这些信息会在体系启动时从DataNode重修。
NameNode对于HDFS至关重要，当NameNode关闭时，HDFS / Hadoop集群无法访问。
NameNode是Hadoop集群中的单点故障。
NameNode所在呆板通常会配置有大量内存（RAM）

DataNode 职责

NameNode和DataNode会保持不停通讯。
DataNode启动时，它将本身发布到NameNode并报告本身负责持有的块列表。
当某个DataNode关闭时，它不会影响数据或聚集的可用性。NameNode将安排由其他DataNode管理的块进行副本复制。
DataNode所在呆板通常配置有大量的硬盘空间。因为现实数据存储在DataNode中。
DataNode会定期（dfs.heartbeat.interval配置项配置，默认是3秒）向NameNode发送心跳，假如NameNode长时间没有接受到DataNode发送的心跳， NameNode就会认为该DataNode失效。
block报告时间间隔取参数dfs.blockreport.intervalMsec,参数未配置的话默认为6小时.（报活）

HDFS的工作机制

NameNode负责管理整个文件体系元数据；DataNode负责管理具体文件数据块存储；Secondary NameNode协助NameNode进行元数据的备份。
HDFS的内部工作机制对客户端保持透明，客户端哀求访问HDFS都是通过向NameNode申请来进行。

HDFS写数据流程

1、client发起文件上传哀求，通过RPC与NameNode创建通讯，NameNode查抄目标文件是否已存在，父目录是否存在，返回是否可以上传
2、client 哀求第一个block该传输到哪些DataNode服务器上
3、NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的DataNode的地址，如：A，B，C

注：默认存储策略由BlockPlacementPolicyDefault类支持。也就是日常生存中提到最经典的3副本策略。
- 1st replica 假如写哀求方所在呆板是此中一个datanode,则直接存放在当地,否则随机在集群中选择一个datanode.
- 2nd replica 第二个副本存放于差别第一个副本的所在的机架.
- 3rd replica 第三个副本存放于第二个副本所在的机架,但是属于差别的节点

4、client 哀求3台DataNode中的一台A上传数据（本质是一个RPC调用，创建pipeline），A收到哀求会继承调用B，然后B调用C，整个pipeline创建完成，后逐级返回client
5、client开始往A上传第一个block（先从磁盘读取数据放到一个当地内存缓存），以packet为单位（默认64k），A收到一个packet就会传给B，B传给C；A每传一个packet就会放入一个应答队列期待应答
6、数据被分割成一个个packet数据包在pipeline上依次传输，在pipeline反方向上，逐个发送ack（命令正确应答），最终由pipeline中的第一个DataNode节点A将pipeline ack发送给client
7、当一个block传输完成之后，client再次哀求NameNode上传第二个block到服务器
HDFS 读数据流程

1、Client 向NameNode发起RPC哀求，来确定哀求文件block所在的位置
2、NameNode会视情况返回文件的部分或全部block列表，对于每个block，NameNode都会返回含有该block副本的DataNode地址
3、这些返回的DN地址，会按照集群拓扑布局得出DataNode与客户端的距离，然后进行排序，按照两个规则：网络拓扑布局中距离Client近的排靠前；心跳机制中超时报告的DN状态为STALE，这样的靠后排
4、Client 选取排序靠前的DataNode来读取block，假如客户端本身就是DataNode，那么将从当地直接获取数据；
5、底层上本质是创建FSDataInputStream，重复的调用父类DataInputStream的read方法，直到这个块上的数据读取完毕；一旦到达块的末尾，DFSInputStream关闭毗连并继承定位下一个块的下一个Datanode
6、当读完列表的block后，若文件读取还没结束，客户端会继承先NameNode获取下一批的block列表；一旦客户端完成读取，它就会调用close（）方法
7、读取完一个block都会进行checksum验证，假如读取DataNode时出现错误，客户端会关照NameNode，然后再从下一个拥有该block副本的DataNode继承读。
8、NameNode只是返回Client哀求包含块的DataNode地址，并不是返回哀求块的数据
9、最终读取来全部的block会归并成一个完备的最终文件
四、namenode、datanode之间的通讯

启动时，DataNode必要向NameNode注册本身并报告本身持有的数据块信息；
工作时，主从之间有心跳机制，数据块报告机制；
DataNode会定期（dfs.heartbeat.interval配置项配置，默认是3秒）向NameNode发送心跳，假如NameNode长时间没有接受到DataNode发送的心跳， NameNode就会认为该DataNode失效。
DataNode会定期向NameNode进行本身持有的数据块信息报告，报告时间间隔取参数dfs.blockreport.intervalMsec,参数未配置的话默认为6小时

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)