ToB企服应用市场:ToB评测及商务社交产业平台

标题: HDFS分布式文件系统的架构及特点 [打印本页]

作者: 滴水恩情 时间: 2024-12-19 07:43
标题: HDFS分布式文件系统的架构及特点
一、HDFS架构

HDFS接纳的是主从（Master/Slave）架构，即一个HDFS通常是由一个Master和多个Slave构成。

Master为NameNode重要用于管理HDFS
Slave为DataNode重要用于存储文件
SecondaryNode用于辅助NameNode

HDFS架构

1.1Block

Block是HDFS文件系统中最小的存储单位，通常称为数据块。
在HDFS文件系统中存储的文件会被拆分为多个Block，每个Block作为单独的单元举行存储，同一文件的多个Block通常存放在不同的DataNode。
在Hadoop3.x版本中，Block的默认大小为128MB。

1.2MetaData

MetaNode用于记录HDFS文件系统的相干信息，这些信息称为元数据。
- 元数据的内容包括文件系统的目次布局，文件名，文件路径，文件大小，文件副本数，文件与Block的映射关系以及Block与DataNode的映射关系等信息。
- 为确保原数据的快速访问，元数据会保存在内存中。
为防止原数据丢失，会在本地磁盘天生Fsimage文件以备份元数据。
当摆设的Hadoop集群初次启动前举行格式化HDFS时，会在本地磁盘的指定目次天生一个Fsimage文件，启动Hadoop集群时NameNode会将Fsimage文件加载到内存中。
Edits文件以追加的方式记录内存中元数据的每一次变化，假如NameNode启机，那么可以通过合并Fsimage文件和Edits文件的方式规复内存中存储的元数据。
- 为避免Edits文件过大，NameNode会定期将Fsimage文件和Edits文件举行合并。

1.3NameNode

HDFS的名称节点，也称为主节点。
- 可管理文件系统的命名空间，比方打开文件、删除文件、重命名文件、创建目次等。
- 处理客户端对文件的读写请求。
- 维护HDFS的元数据。
- 维护和管理DataNode，并调和DataNode为客户端发起的读写请求提供服务。

1.4DataNode

HDFS的数据节点，也称为从节点。
- 存储Block。
- 根据NameNode的指令对Block举行创建、复制、删除等操作。
- 定期向NameNode报告自身存储的Block列表及健康状态。
- 负责为客户端发起的读写请求提供服务。

1.5SecondaryNode

HDFS的辅助节点。
- 可定期从NameNode复制Fsimage文件和及合并Edits文件，并将合并结果发送给NameNode。
- 是NameNode的冷备份，若NameNode无法使用时，可获取SecondaryNode保存的Fsimage文件和Edits文件，规复NameNode的数据和运行状态。

二、HDFS的特点

1.存储大文件

支持GB甚至TB级别的文件存储。
2.高容错性

HDFS的副本机制会为DataNode中的每个Block创建多个副本，假如某个DataNode启机，也可以从保存的Block副本的其他DataNode中读取雷同的Block。
3.简朴的同等性模型

简朴：易用且专注存储和管理数据。
同等性：HDFS接纳一次写入、多次读取的文件访问模型，且一个文件经过创建、写入、关闭后，只能追加，不能修改。也不支持并发多用户的写操作，包管数据终极不停，而不是实时。
4.移动计算比移动数据更经济

就近原则。通过本地或边缘计算环境处理数据，资源效率高。可最大限度减少网络堵塞，增加系统团体吞吐量。
运行时，将计算迁移到靠近数据的位置比将数据迁移到计算的位置更好。
5.可移植性

可以在不同的平台使用。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)