HDFS文件系统结构解析.doc

上传人:wux****ua 文档编号:7961066 上传时间:2020-03-26 格式:DOC 页数:5 大小:190.50KB
返回 下载 相关 举报
HDFS文件系统结构解析.doc_第1页
第1页 / 共5页
HDFS文件系统结构解析.doc_第2页
第2页 / 共5页
HDFS文件系统结构解析.doc_第3页
第3页 / 共5页
点击查看更多>>
资源描述
HDFS文件系统结构解析NameNode节点是就是HDFS的大脑。想了解HDFS文件系统,必须了解大脑结构。 咱们就从NameNode节点开始。NameNode类中,关于HDFS文件系统的存储和管理都交给了FSNamesystem负责。下面介绍一下FSNamesystem的逻辑组成和类图。 1. FSNameSystem层次结构 一些概念 INode: 它用来存放文件及目录的基本信息:名称,父节点、修改时间,访问时间以及UGI信息等。 INodeFile: 继承自INode,除INode信息外,还有组成这个文件的Blocks列表,重复因子,Block大小 INodeDirectory:继承自INode,此外还有一个INode列表来组成文件或目录树结构 Block(BlockInfo):组成文件的物理存储,有BlockId,size ,以及时间戳 BlocksMap: 保存数据块到INode和DataNode的映射关系 FSDirectory:保存文件树结构,HDFS整个文件系统是通过FSDirectory来管理 FSImage:保存的是文件系统的目录树 FSEditlog: 文件树上的操作日志 FSNamesystem: HDFS文件系统管理 这些概念之间的层次关系: 我们都知道,在NameNode内存中存在两张很重要的映射表: 1. 文件系统的命名空间(文件目录树) 主要是 文件和Block映射关系 (保存在FSDirectory) 2. Block 和 INodeFile & DataNode的映射关系 (保存在FSNamesystem) 在上图中,左边黑线部分是1 数据结构的层次关系;红线部分是 2 关系的层次结构 (其中block & DataNode这个共用) 下面详细的介绍上图所表示的关系: 文件系统 FSNamesystem FSNamesystem 主要有两个对象:文件系统(FSDirectory)根节点rootDir 和BlocksMap映射表 (Block - INode, datanodes, self ref ) 文件系统目录FSDirectory 保存文件目录结构(INodeDirectory树),实现FSImage和FSEditLog操作实现。 INode ( INodeFile & INodeDirectory ) 在HDFS中,无论目录还是文件,都是INode。INode有两个派生类INodeFile和INodeDirectory。 INodeFile是INode文件类,INodeDirectory是INode目录类。每一 INodeDirectory孩子节点都是由INodeDirectory目录或INodeFile文件列表构成。这样就形成了一棵INode树形结构。 NameNode内存中保存着HDFS整个文件系统形成的树,这棵树保存在FSDirectory对象内。 Block & BlocksMap & BlockInfo HDFS物理存储单元是Block(缺省的Block大小为64M),每个Block会有几个副本(缺省是3个),这些Block都是存储在不同数据节点上的。映射关系保存在BlocksMap。 Block & INodeFile 每个INodeFile都有一个Block列表组成。每一个block有多个副本(缺省3个副本), 各副本保存在不同的数据节点上。 这样在文件与Block和DataNode之间形成一个映射关系表。这张关系表就保存在FSDirectory对象 . FSImage & FSEditlog(FSDirectory) 由于目录树(FSDirectory)在NameNode内存中保存,机器也有掉电的时候。若只保存在内存那势必会造成数据的丢失。因此,系统会周期性的保存文件目录树到NameNode本地文件系统,生成FSImage。主要由FSImage和FSEditLog,这两个类负责目录树持久化。 当 HDFS系统非常庞大时,FSImage也会非常大,这样不能文件系统发生任何操作时,就更新到FSImage,所以一段时间内文件系统的操作日志会记录到FSEditLog。到一定时间会把操作日志FSEditLog同步到FSImage,这样就形成完整的文件目录树。 2. FSNameSystem 主要类关系图 这个类图可以分成三个部分 Bock相关的部分(BlocksMap & BlockInof & Block) INode相关的部分(INode & INodeDirectory & INodeFile & INodeDirectoryWithQuota) FSImage & FSEditLog (Storage & StorageInfo) 其中 BlockInfo是Block的加强类,增加了INodeFile的引用和DataNode列表 INodeFirectoryWithQuota 是INodeDirectory的增强类,增加了Quota限制功能 从层次关系图和类图中,可以看出FSNamesystem中各数据结构之间的关系。了解FSNamesystem, 那么HDFS的文件系统就了解了90%。 my email: hadoop123 at gmail dot com
展开阅读全文
相关资源
正为您匹配相似的精品文档
相关搜索

最新文档


当前位置:首页 > 图纸专区 > 考试试卷


copyright@ 2023-2025  zhuangpeitu.com 装配图网版权所有   联系电话:18123376007

备案号:ICP2024067431-1 川公网安备51140202000466号


本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!