HDFS分布式文件系统的架构及特点

一、HDFS架构

        HDFS接纳的是主从（Master/Slave）架构，即一个HDFS通常是由一个Master和多个Slave构成。

• Master为NameNode重要用于管理HDFS
  
• Slave为DataNode重要用于存储文件
  
• SecondaryNode用于辅助NameNode
  

      

       HDFS架构      

1.1Block

• Block是HDFS文件系统中最小的存储单位，通常称为数据块。
  
• 在HDFS文件系统中存储的文件会被拆分为多个Block，每个Block作为单独的单元举行存储，同一文件的多个Block通常存放在不同的DataNode。
  
• 在Hadoop3.x版本中，Block的默认大小为128MB。
  

1.2MetaData

• MetaNode用于记录HDFS文件系统的相干信息，这些信息称为元数据。
  
  
  
  • 元数据的内容包括文件系统的目次布局，文件名，文件路径，文件大小，文件副本数，文件与Block的映射关系以及Block与DataNode的映射关系等信息。
    
  • 为确保原数据的快速访问，元数据会保存在内存中。
    
  
  
• 为防止原数据丢失，会在本地磁盘天生Fsimage文件以备份元数据。
  
• 当摆设的Hadoop集群初次启动前举行格式化HDFS时，会在本地磁盘的指定目次天生一个Fsimage文件，启动Hadoop集群时NameNode会将Fsimage文件加载到内存中。
  
• Edits文件以追加的方式记录内存中元数据的每一次变化， 假如NameNode启机，那么可以通过合并Fsimage文件和Edits文件的方式规复内存中存储的元数据。
  
  
  
  • 为避免Edits文件过大，NameNode会定期将Fsimage文件和Edits文件举行合并。
    
  
  

1.3NameNode

• HDFS的名称节点，也称为主节点。
  
  
  
  • 可管理文件系统的命名空间，比方打开文件、删除文件、重命名文件、创建目次等。
    
  • 处理客户端对文件的读写请求。
    
  • 维护HDFS的元数据。
    
  • 维护和管理DataNode，并调和DataNode为客户端发起的读写请求提供服务。
    
  
  

1.4DataNode

• HDFS的数据节点，也称为从节点。
  
  
  
  • 存储Block。
    
  • 根据NameNode的指令对Block举行创建、复制、删除等操作。
    
  • 定期向NameNode报告自身存储的Block列表及健康状态。
    
  • 负责为客户端发起的读写请求提供服务。
    
  
  

1.5SecondaryNode

• HDFS的辅助节点。
  
  
  
  • 可定期从NameNode复制Fsimage文件和及合并Edits文件，并将合并结果发送给NameNode。
    
  • 是NameNode的冷备份，若NameNode无法使用时，可获取SecondaryNode保存的Fsimage文件和Edits文件，规复NameNode的数据和运行状态。
    
  
  

二、HDFS的特点

1.存储大文件

        支持GB甚至TB级别的文件存储。
2.高容错性

        HDFS的副本机制会为DataNode中的每个Block创建多个副本，假如某个DataNode启机，也可以从保存的Block副本的其他DataNode中读取雷同的Block。
3.简朴的同等性模型

        简朴：易用且专注存储和管理数据。
        同等性：HDFS接纳一次写入、多次读取的文件访问模型，且一个文件经过创建、写入、关闭后，只能追加，不能修改。也不支持并发多用户的写操作，包管数据终极不停，而不是实时。
4.移动计算比移动数据更经济

        就近原则。通过本地或边缘计算环境处理数据，资源效率高。可最大限度减少网络堵塞，增加系统团体吞吐量。
        运行时，将计算迁移到靠近数据的位置比将数据迁移到计算的位置更好。
5.可移植性

        可以在不同的平台使用。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。