FusionStorage架构分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,华为FusionStorage架构分析,常涛,基本功能,接口：scsi/iscsi,数据服务：快照，克隆，精简配置，分布式cache，备份（全量，增量），,复制（基于volume的异步复制）,存储基本功能：集群状态控制，分布式数据分布（DHT），rebuild，reblance过程控制，强一致性协议,基本组件,FusionStorage Manager:管理模块，提供告警，监控，日志等信息。,FustionStorage Agent：代理进程，实现和FusitonStorage Manager的通信。,MDC（meta data cluster）：集群管理，负责集群状态的监控，数据分布规则，数据rebuild的过程控制。（使用zookeeper）,VBS（virtual block system）客户端，提供分布式块存储集群接入点服务。,OSD：数据服务组件。每个磁盘对应一个OSD（类似于Ceph）,关键技术：数据分布（数据路由）,FusionStorage,采用,DHT,算法,需要全局保存,Partition,disk,的映射表,1）（LUN1，LBA）生产key,2）通过key，通过计算hash值可得到 Partition,3）通过查找全局的 partition 到disk 的路由表，可知具体的disk的值,优点：,1,）保存,partition,到,disk,的映射表，可以实现负载均衡,2,）保存的元数据比较少，可以支持的规模比较大。,缺点：,副本控制和分布的粒度是,pool,级别，,volume,级别的数据分布和副本的控制比较难。,关键技术：Cache机制,Write Cache,SSD cache,，直接写,SSD,返回,数据定期从,SSD,批量刷回,HDD,磁盘,Read Cache,：,内存,SSD read cache,HDD,磁盘,Cache,没有啥特别的。关键看,cache,缓存算法的实现优劣。,关键技术：读写IO流程,读操作：直接读Primary OSD,写操作：,客户端,VBS,发给,Primary OSD,Primary OSD,同时发送给本地磁盘和,Second OSD,Primary OSD,等待,Primary OSD,和,Second OSD,的操作都完成，才向客户端应答。,没啥特别设计，基本流程都一样。,关键技术：快照/克隆,FusionStorage,采用,ROW,快照技术,优点是写操作性能几乎不受损失,读操作，特别是顺序读操作，会有影响？,如果使用,DHT,技术，,ROW,快照的机制具体如何实现？,Ceph,的机制？快照的信息记录在每个对象的属性上,Sheepdog,的机制？快照的信息记录在整个,volume,的属性上,Consistent Group,不支持？,快照的实现，应该是基于,sheepdog,的原理实现。,ROW,机制的快照还是挺不错的。,关键技术：数据一致性协议/掉电保护,每个,IO,有编号（通过编号，实现顺序处理）,主,OSD,和备,OSD,所接收到的,IO,编号处理顺序完全一致。,ordered request,实现（类似,Ceph,的,pg log,性能是瓶颈吗？）,FusitonStorage,的保电介质,NVDIM&PCIe SSD,所有的元数据,+,数据都缓存在,保电介质,中，系统掉电重启后,replay,类似,ceph,，,NVDIM,或者,PCIe SSD,做日志（包括元数据和数据）,关键技术：平滑扩容,DHT,技术比较容易的支持,Reblance/Rebuild,时的所占资源的控制（没有提到）,在恢复速度和不影响前端性能之间平衡,关键技术：灾备,基于,volume,的同步复制,同城双活,基于故障域实现的双活。,但是难以实现基于,volume,的同步复制,基于,volume,的异步复制,异地复制,基于快照实现的全量和增量备份,可基于,Volume,的实现,其它功能,分布式缓存,有必要吗？如果负载均衡,针对热点？读热点缓存在,cache,中，写热点也没法分布式啊？,支持,InifiniBand,高速网络,Data Scrub,定时检测存储数据,提前预防数据错误,硬盘可靠性,坏块标记,磁盘亚健康检查,磁盘错误检查,其它缺失的功能（没有提到的功能）,QoS,Consistent Group,Rebuild/rebalance,资源控制,EC,的支持,压缩，重删，加密,