HDFS分布式文件系统的架构及特点

一、HDFS架构

        HDFS采用的是主从（Master/Slave）架构，即一个HDFS通常是由一个Master和多个Slave组成。

• Master为NameNode主要用于管理HDFS
• Slave为DataNode主要用于存储文件
• SecondaryNode用于辅助NameNode

HDFS架构

1.1Block

• Block是HDFS文件系统中最小的存储单位，通常称为数据块。
• 在HDFS文件系统中存储的文件会被拆分为多个Block，每个Block作为单独的单元进行存储，同一文件的多个Block通常存放在不同的DataNode。
• 在Hadoop3.x版本中，Block的默认大小为128MB。

1.2MetaData

• MetaNode用于记录HDFS文件系统的相关信息，这些信息称为元数据。
  • 元数据的内容包括文件系统的目录结构，文件名，文件路径，文件大小，文件副本数，文件与Block的映射关系以及Block与DataNode的映射关系等信息。
  • 为确保原数据的快速访问，元数据会保存在内存中。
• 为防止原数据丢失，会在本地磁盘生成Fsimage文件以备份元数据。
• 当部署的Hadoop集群初次启动前进行格式化HDFS时，会在本地磁盘的指定目录生成一个Fsimage文件，启动Hadoop集群时NameNode会将Fsimage文件加载到内存中。
• Edits文件以追加的方式记录内存中元数据的每一次变化， 如果NameNode启机，那么可以通过合并Fsimage文件和Edits文件的方式恢复内存中存储的元数据。
  • 为避免Edits文件过大，NameNode会定期将Fsimage文件和Edits文件进行合并。

• 包含内容：

  • 文件的名称

  • 文件的目录结构

  • 文件的属性（权限、副本数、创建时间）

  • 一个文件被对应切割哪些数据块（包含副本数的块）--> 对应分布在哪些datanode

• 映射关系：blockmap（块映射）维护在内存中，nn是不会持久化存储这种映射关系。集群在启动和运行时，dn定期汇报blockreport给nn，然后在内存中动态维护这种映射关系。

1.3NameNode

• HDFS的名称节点，也称为主节点。
  • 可管理文件系统的命名空间，例如打开文件、删除文件、重命名文件、创建目录等。
  • 处理客户端对文件的读写请求。
  • 维护HDFS的元数据。
  • 维护和管理DataNode，并协调DataNode为客户端发起的读写请求提供服务。

1.4DataNode

• HDFS的数据节点，也称为从节点。
  • 存储Block。
  • 根据NameNode的指令对Block进行创建、复制、删除等操作。
  • 定期向NameNode汇报自身存储的Block列表及健康状态。
  • 负责为客户端发起的读写请求提供服务。

1.5SecondaryNode

• HDFS的辅助节点。
  • 可定期从NameNode复制Fsimage文件和及合并Edits文件，并将合并结果发送给NameNode。
  • 是NameNode的冷备份，若NameNode无法使用时，可获取SecondaryNode保存的Fsimage文件和Edits文件，恢复NameNode的数据和运行状态。当NameNode宕机无法使用时，可以通过手动操作将SecondaryNameNode切换为NameNode。

描述：

• SNN执行checkpoint动作时，NN会停止使用当前的edit文件515-516，暂时将读写操作记录到一个新的edit文件517中。
• SNN将NN的fsimage 514和edits文件515-516远程下载到本地。
• SNN将fsimage 514加载到内存中，将edits文件515-516内容在内存中完整执行一次，创建一个新的fsimage文件516。
• SNN将新的fsimage 516推送给NN。
• NN接受到fsimage 516.checkpoint滚动为fsimage 516，新的edit17.new文件滚动为edit517，为最新文件。

二、HDFS的特点

1.存储大文件

        支持GB甚至TB级别的文件存储。

2.高容错性

        HDFS的副本机制会为DataNode中的每个Block创建多个副本，如果某个DataNode启机，也可以从保存的Block副本的其他DataNode中读取相同的Block。

3.简单的一致性模型

        简单：易用且专注存储和管理数据。

        一致性：HDFS采用一次写入、多次读取的文件访问模型，且一个文件经过创建、写入、关闭后，只能追加，不能修改。也不支持并发多用户的写操作，保证数据最终一直，而不是实时。

4.移动计算比移动数据更经济

        就近原则。通过本地或边缘计算环境处理数据，资源效率高。可最大限度减少网络堵塞，增加系统整体吞吐量。

        运行时，将计算迁移到靠近数据的位置比将数据迁移到计算的位置更好。

5.可移植性

        可以在不同的平台使用。