一个分布式系统原型的设计与实现

*,/20,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,Internet,DFSt,*,一个分布式文件系统原型的设计与实现,一个分布式文件系统原型的 设计与实现,汪萌 吴泠 张彬彬 王莉春 李双峰,2004,年,12,月,21,日,网络与分布式系统课程实习报告,基本功能,为用户提供独立的名字空间,多台文件服务器存储，自动文件备份,用户管理,支持本地,/,远程文件统一操作,本地文件,/,目录基本操作,新建、编辑,(txt,文件,),、复制、剪切、粘贴、删除、更名,远程文件,/,目录增加操作,查看,(,只读方式,),设置共享目录,2,RMI,Cache,系统结构,文件服务器,名字服务器,客户端,3,客户端界面,4,客户端界面（续）,5,客户端缓存,交互对象,客户端界面、名字服务器、文件服务器,6,缓存替换策略,影响因素,访问次序,文件大小,下载延迟和代价,最近访问的时间间隔,我们的策略,时间阈值,expire_time,文件大小阈值,LargeThreshold,GreedyDual,-Size,算法,GreedyDual,的扩展,考虑了不同的文件大小,考虑了不同的获取代价,根据参数不同具有不同的适应性,7,缓存更新策略,常用机制,TTL,Client pulling,Invalidation protocols,我们的策略,在系统启动时，通过,Client pulling,与名字服务交互,在系统运行期间，通过,Invalidation protocols,方式保持一致性,在系统运行期间，缓存管理器也定期删除较长时间未访问的文件,8,名字服务器,用户管理,创建用户,删除用户,用户登录,用户注销,9,名字服务器,名字空间管理,多名字空间,每一个用户有一个独立的名字空间,目录结构信息用,XML,文件管理,文件目录属性信息用关系数据库存储,通过,XML,文件管理共享目录结构信息,响应客户端请求,返回目录结构信息,+,文件目录属性信息,+,共享目录结构信息,10,名字服务器,文件管理,用关系数据库管理文件信息,文件的基本信息,文件名、所有者、文件大小、创建时间、修改时间等,文件逻辑地址,用户名,+,名字空间中的逻辑路径,+,逻辑文件名,文件物理地址,文件服务器标识,+,全局唯一的物理文件名,每一个文件具有唯一的逻辑地址，每一个文件副本对应一个物理地址,11,名字服务器,文件服务器管理,动态管理文件服务器,添加、删除文件服务器,指导文件服务器进行文件备份,同一个文件在两台文件服务器中保存副本,实时获取文件服务器信息,剩余空间、负载,文件服务器选择策略,:,剩余空间,+,负载,在剩余空间满足的情况下，选择当前负载最轻的（可扩展）,12,名字服务器,共享目录的管理,用户在客户端选择共享文件及共享者,共享者具有只读权限,共享目录信息采用,XML,文件，共享者由关系数据库记录,一致性维护,时间戳,调用文件服务器进行副本更新,比较时间戳，选择最新的文件,通过回调机制通知,Cache,更新文件,13,文件的传输,文件服务器：监控管理程序,监控文件服务器信息，提供当前的磁盘空间等资源信息,响应删除文件命令，删除文件服务器上的文件,响应备份命令，将本地文件备份到另一文件服务器上,客户端使用的工具包,上传文件、下载文件、删除文件,ftp,协议,NS,使用的工具包,提供资源信息查询,通知备份文件到第三方文件服务器,删除文件服务器上的备份文件功能,14,总结,访问透明性,为本地文件,/,远程文件提供统一操作方式,位置透明性,用户独立的文件名字空间,移动透明性,文件服务器的文件管理对用户透明,15,总结（续）,安全性,用户管理,共享设置,文件复制,文件服务器文档备份,名字服务器文档备份,一致性,共享文件的更新,可扩展性,文件服务器的管理,16,主要参考文献,分布式系统：概念与设计,郭朝阳、代亚非、韩华 燕星系统的设计及其实现中的技术问题,.,计算机工程与应用,2003.9,乐德广等,.,网络缓存技术及应用的研究,.,应用技术,.2003.5,P.,Cao,and S.,Irani,Cost-Aware WWW Proxy Caching Algorithms,Proceedings of USENIX Symposium on Internet Technologies and Systems(USITS),Monterey,CA,pp.193-206,December 1997.,17,We are,DSFive,!,Hi,，,Im,李双峰，我负责,Cache,Hi,，,Im,李双峰，我负责,Cache,Hi,，,Im,汪萌，我负责,GUI,Hi,，,Im,王莉春，我负责文件传输,Hi,，,were,吴泠,&,张彬彬，我们负责名字服务器,18,谢谢！,19,