视频大数据存储平台解决方案课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,视频大数据存储平台解决方案,视频大数据存储平台解决方案视频大数据存储平台解决方案以某市公安局天网工程为例海量视频、图像数据的统一存储和快速检索,多节点集群并行工作，保证数据的高平安性,后续可根据需要自由扩展该市公安局要建立“天网工程的统一存储系统,针对案件的所有图像、视频数据涉案人脸抓拍等，在市局统一汇总，永久存储,存储公安局重要信息，对系统平安性的要求非常高提供2000TB存储容量,节点级平安，保证内部重要数据的数据平安,视频大数据存储平台解决方案视频大数据存储平台解决方案视频大数,1,以某市公安局天网工程为例,海量视频、图像数据的统一存储和快速检索,多节点集群并行工作，保证数据的高平安性,后续可根据需要自由扩展,该市公安局要建立“天网工程的统一存储系统,针对案件的所有图像、视频数据涉案人脸抓拍等，在市局统一汇总，永久存储,存储公安局重要信息，对系统平安性的要求非常高,项目概况,提供2000TB存储容量,节点级平安，保证内部重要数据的数据平安,解决方案,客户需求,以某市公安局天网工程为例海量视频、图像数据的统一存储和快速检,某市天网工程部署图,某市天网工程部署图,1、流媒体高清视频文件对高带宽和稳定的需求。,2、大数据分析：包含检索数据库和海量视频文件资料，检索数据库主要用来关联带标签的分类主题资料和具体视频文件，使用户能快速检索到对应分类的存储位置。,3、云计算虚拟化集群：物理效劳器组建成统一的集群计算虚拟机资源池，实现虚拟机的故障转移高可用、负载自动分配资源、对存储高IOPS需求。,4、海量小文件空间数据。,5、跨多中心分布式广域云架构。,1、流媒体高清视频文件对高带宽和稳定的需求。,平安城市云存储系统五大需求,平安城市云存储系统五大需求,云和大数据增长对象存储占据,90%,云和大数据增长对象存储占据 90%,云和大数据未来需要新的存储方式,4X,$,50%,云和大数据未来需要新的存储方式4X$,Daasbank SDS,创新价值,规模更大,本钱更低,更平安可靠,Daasbank SDS 创新价值 规模更大 本钱更低 更平,什么是,SDS超,聚合？,什么是SDS超聚合？,DStore,弹性定义、部署及管理的聚合式云存储平台,采用Block/File/Object统一集群存储架构,效劳器虚拟主机可以有多个vPools，高速缓存和无限快照，统一管理异构数据，支持本地文件系统、NAS、块设备、S3 API兼容的对象存储如Ceph，Swift，AWS，分布式文件系统如GlusterFS，XtreemFS等。,无接缝扩大可扩大到数百 PB，无需再做存储空间预估,DStore弹性定义、部署及管理的聚合式云存储平台采用B,Hypervisor,DStore,Hypervisor,DStore,DStore,DStore,SDS-Kinetic,Storage Server,Legacy,Storage System,依据需求弹性部署,DStore提供管理者两种模式混合搭配部署:,SDS超聚合存储Kinetic,DS分布式存储效劳器,无缝整合先期投资的传统存储设备，并入成为DStore管理的共享存储资源池,Daasbank DStore,Shared Storage Infrastructure,HypervisorDStoreHypervisorDSt,创新的云端效劳模式提升运行效率及经济性,DStore让管理者可在共享资源池上为每位使用者建立独立的虚拟存储设备(Virtual Storage),并提供用户自助效劳功能(Self-service Portal),DStore多重用户共享(Multi-Tenancy)的设计满足不同用户对存储的性能、平安、分段、隔离、监管、及QoS等不同需求,SAN,NAS,S3,CIFS/NFS,DStore Shared Storage Infrastructure,virtual,storage,virtual,storage,virtual,storage,virtual,storage,Dynamic Virtual Storage Provisioning,创新的云端效劳模式提升运行效率及经济性DStore让管理者,DStore,产品架构,Kinetic,DStore,Kinetic,DStore,Kinetic,DStore,Workloads/Applications,VM,VM,VM,Workloads/Applications,VM,VM,VM,Workloads/Applications,VM,VM,VM,DStore,DStore,Scale-out,Interface,Amazon S3,WebDAV,OpenStack Swift,NFS,CIFS,iSCSI/FC,Management,Policy Management,(Distribution,QoS,Tiering),Monitoring/Alert Reporting,Auto,Recovery,Distribution,Object,Distribution,Object Replication,Object Rebalance,Storage,Data De-duplication,Data Compression,SSD Acceleration,采用,Block/File/Object统一集群存储架构,DStore产品架构KineticDStoreK,目标应用类型：所有海量数据扩展存储的客户,目标应用类型：所有海量数据扩展存储的客户,跨地域数据同步协同：,总公司和分子公司间跨地域数据同步。,数据快速采集、分发：,3个副本，分布式部署于不同的Regions。,应用,1,、支持跨地域分布式存储管理,跨地域数据同步协同：应用1、支持跨地域分布式存储管理,应用,2,支持云备份容灾归档,企业备份中心,客户注册、计费及管理,计费,归档,云存储系统,云备份介质,归档数据存储设备,企业主数据生产中心,门户,企业分支数据中心,云备份系统,私有云备份客户端,云备份客户端,云,云网关,应用2 支持云备份容灾归档企业备份中心客户注册、计费及管理,混合云网盘融合创新,特点,平安、方便、快捷,应用,3,云存储网盘,在家办公,在外地出差,PC Client,DS Client,DS Client,移动终端,统一资源池,数据库,文件,用户分权,安全审计,数据副本,在线备份,在线办公,在线存储,容灾服务,Internet,数据归档,.,数据保险,Internet/,专网,在学校上课,在企业办公,私有数据中心,网银加密,DS System,亚马逊公有云数据中心,S3,Glacier,混合云网盘融合创新特点平安、方便、快捷应用3 云存储网盘,应用4 云桌面/云平台/效劳器虚拟化,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Hyper-V,Compute,Storage,Compute,Storage,Compute,Storage,应用4 云桌面/云平台/效劳器虚拟化VMVMVMVM,应用,5,大数据分析,有效应对海量小文件存储的难题，,降低了网络访问延时，,提升,用户体验,独立用户数持续增长，企业收益,快速增长,峰值时间大量用户并发访问，导致数据爆发式增长,数据为典型海量小文件15K30K之间，对系统性能冲击很大,原有的NAS系统在数据读取时性能下降，网站访问延时严重。,系统要有弹性扩大的能力,客户需求,多个元数据节点集群，提升海量小文件访问时的检索与读取速度，应对前端多用户高并发的访问需求,通过自动负载均衡技术防止存储热点的形成所带来的访问延迟。,解决方案,客户价值,应用5 大数据分析有效应对海量小文件存储的难题，降低了网络访,支援各种存储协议,支持各种存储协议使用包含文件，块级存储(SAN、NAS),支持对象存储(Object)及云端效劳例如:S3、Swift和WebDAV,云端,Amonzon S3,OpenStack Swift,WebDAV,文件协议,File-based,块设备,Block-Level,支援各种存储协议支持各种存储协议使用包含文件，块级存储(SA,数据存储效率,藉由SSD做到数据存储分级，提升整体数据效率,利用多种储存技术优化存储方式，包含快照(Snapshot)、重复数据删除(De-duplication)、数据压缩(compression)、自动精简配置(Thin provisioning),跨节点的纠删码技术有效提高存储使用率及平安性,Thin,Provisioning,Data,Deduplication,SSD Cache,Primary Storage,Application,Workload,Erasure,Code,数据存储效率藉由SSD做到数据存储分级，提升整体数据效率Th,N+M的纠删码技术,对于有n个数据节点的存储集群而言，原始数据仅需保存一份，并通过就删码的方式额外保存m个校验码，即可确保在损坏节点数不超过m个节点的前提下，确保数据的平安性。而整体的存储空间容量就是n+m个节点。如果是副本机制要到达同样的平安级别，节点数需要到达m*n个，因此针对大容量数据存储，纠删码是一个非常有效的节约本钱的存储方案。N+M的纠删码方案，确保任意损坏1-M台物理节点，数据依然可确保平安。,N+M的纠删码技术 对于有n个数据节点的存储集群而言，原始数,数据的平安性及可靠性,利用集群(Cluster)的架构提供数据副本选项(210份)，提供资料的高可用度，针对网络环境提供IP takeover、DNS Round-robin的机制，确保效劳的高可用性,云存储11个9的耐用性.适用于私有、公有、混合云环境。支持N+1集群、多站点容灾备份，可实现IDC多机房跨广域网分布式部署。,Real-time Data Replication功能确保资料的一致性资料自我修复(Self-healing)及自动复原(Auto-Recovery)机制，确保资料可靠性,数据的平安性及可靠性利用集群(Cluster)的架构提供数据,存储资源池的管理性与兼容性,去中心化(De-centralized)管理设计使每一存储节点皆能提供管理界面，,简化管理复杂度,简易的安装及Plug-&-Play布署,方式，能在效劳不下线的同时在同一丛集中从数,个节点扩大至数百节点提供Storage Management,API，让使用者容易整合既有的IT管理环境,先进的监视模块及告警系统，随时随地保持储存系统的最正确况状,Plug-and-Play,存储资源池的管理性与兼容性去中心化(De-centraliz,机架产品规格,机架产品规格,优势总结,更低的本钱比采用磁盘阵列和存储效劳器构建数据中心时可获得更低的资本支出。客户可在一样物理空间分配更多存储容量。,更少的人力减少维护磁盘阵列和存储效劳器所需的运维工程师数量。此外，该平台支持的更密集存储可潜在减少通常数据中心需要雇用的运维工程师数量，实现重大劳力节省。,更低的能耗 消除磁盘阵列和存储效劳器层，并结合更高效的机架密度，以更少机架支持一样数量的存储从而降低能耗。,更高的可靠采用对象存储3副本机制，可跨广域网分布式部署，11个9的可靠性保障。存储系统内部没有控制器、主板、内存、Raid、SAS卡等部件，减少硬件的故障发生几率。,更高的性能应用主机通过SSD高速缓存，通过以太网直接读写硬盘驱动器，消除文件系统、存储控制器、RAID、SAS背板等环节，性能提升4倍以上。快速的灾难恢复，降低数据丧失和业务中断带来的损失。,优势总结更低的本钱比采用磁盘阵列和存储效劳器构建数据中心时,汇报完毕,谢谢大家,!,请各位批评指正,汇报完毕谢谢大家!请各位批评指正