云存储培训版课件

安防监控迈入云存储时代,安防监控迈入云存储时代,背景篇,行到水穷处，坐看云起时,背景篇行到水穷处，坐看云起时,安防监控迈入云存储时代,这是一个大数据的时代,安防监控迈入云存储时代这是一个大数据的时代,大数据时代的,4V,特征,Volume,海量数据,从,TB,级别，增长到,PB,级别,Variety,数据种类繁多,有各类文本、图片、视频等数据，,而且非结构化数据越来越多,Velocity,实时性,海量数据需要快速的处理和检索,Veracity,真实准确,利用数据挖掘和分析得出真实准确的信息,大数据时代的4V特征Volume 海量数据从TB级别，增长,大数据时代，对存储系统提供更高要求,大容量,高效率,高可用,大数据时代，对存储系统提供更高要求大容量高效率高可用,大数据时代,现有存储系统面临的难题,以智慧城市的建设为例,大数据时代,现有存储系统面临的难题以智慧城市的建设为例,海量数据存储，如何统一管理和统一调度,数以万计的监控点,，存储容量已经达到,PB,级别,智能分析抽离出的图片、文字、摘要视频等，数据种类多种多样。,白色小型车,沪,FW6461,逆行,闯红灯,红色上衣,红色小型车,人员聚集告警,人脸抓拍图片,黄色衬衫,行车轨迹,北纬,31.3,东 经,120.6,除视频监控数据外，各类应用系统的数据也需进行融合,移动警务,图像资源信息库,车牌信息数据库,移动警务,人员信息数据库,移动警务,海量数据存储，如何统一管理和统一调度数以万计的监控点，存,在并发读写时，存储设备的性能瓶颈在控制器或处理能力上。为提升并发处理能力，必须不断的进行硬件升级。,大容量并发读写，设备性能成为瓶颈,存储设备,300,路高清,存储设备,200,路高清,存储设备,100,路高清,单台最大并发处理能力,升级,CPU,升级内存,在并发读写时，存储设备的性能瓶颈在控制器或处理能力上。,设备故障须及时修复，维护成本激增,硬盘,存储设备,硬盘,硬盘,硬盘,硬盘,硬盘,硬盘,硬盘,热备,硬盘,硬盘,硬盘,RAID,硬盘,硬盘,硬盘,某块硬盘发生故障时，例如,RAID,，只允许设备中有一块硬盘失效。而,RAID,恢复时间往往需要十几个小时，期间再坏盘，就无法恢复了。因此，,需要立即更换或修复故障硬盘,。,存储设备,存储设备,存储设备,1,某台设备发生故障时，虽可以用负载均衡技术分担给其它设备，但需要,立即更换或,修复故障设备,，否则存储于其中的数据无法读取。,故障,故障,容量达到“,PB,”级别，维护就成为最大的难题,设备故障须及时修复，维护成本激增硬盘存储设备硬盘硬盘硬盘,NAS,存储设备,NAS,存储设备,NAS,存储设备,卡口平台,监控平台,IP SAN,存储设备,IP SAN,存储设备,IP SAN,存储设备,图像资源数据库,NAS,集群存储设备,NAS,集群存储设备,NAS,集群存储设备,不同的应用系统间数据难以融合,各个应用系统，都建设独立的一套存储调度系统，可移植性和重复利用率较差。而且，不同的应用系统需要各种类型的存储系统，,NAS,、,IPSAN,或集群,NAS,，难以融合。,NAS存储设备NAS存储设备NAS存储设备卡口平台监控平台I,如何解决些难题？,海量数据存储，如何统一管理和统一调度,大容量并发读写，设备性能成为瓶颈,不同的应用系统间数据难以融合,设备故障须及时修复，维护成本激增,云存储应运而生,如何解决些难题？海量数据存储，如何统一管理和统一调度,概念篇,只在此山中，云深不知处,概念篇只在此山中，云深不知处,什么叫做,”,云,”,？,使用者,按需获取资源，无需关心资源在何处，如何构建。,就像从“云端”获取资源,云,Cloud,什么叫做”云”？使用者按需获取资源，无需关心资源在何处，如何,像是拧开水龙头取水，打开开关获取电一样便捷，用户也可以方便的使用“云”资源。,什么叫做,”,云,”,？,像是拧开水龙头取水，打开开关获取电一样便捷，用户也可以方便的,什么是云存储？,用户按需使用存储资源，无需关心存储设备在何处，如何构建。,在视频监控领域，云存储作为基础资源，其“用户”为各类业务系统。,云存储,Cloud S,torage,卡口平台,视频监控平台,图像资源数据库,统一数据平台,智能应用系统,高可用性,海量存储,高性能,统一访问空间,高可靠性,弹性伸缩,什么是云存储？用户按需使用存储资源，无需关心存储设备在何处，,难题的解决之道,海量数据存储，如何统一管理和统一调度,大容量并发读写，设备性能成为瓶颈,不同的应用系统间数据难以融合,设备故障须及时修复，维护成本激增,提供分布式文件系统，数据调度与存储分离,将单打独斗升级为团队作战,由及时维护转变为定期维护,将各种数据融合，提供统一接口,难题的解决之道海量数据存储，如何统一管理和统一调度 大,架构篇,有形不累物，无迹却随风,架构篇有形不累物，无迹却随风,存储节点,存储节点,存储节点,存储节点,云存储的系统架构,云存储的系统架构，分为“控制节点”和“存储节点”两个部分。,控制节点,控制节点,控制节点,控制节点采用集群架构，存储元数据，对存储节点进行调度,存储节点对数据进行分布式存储，可进行复制或者,RAID,备份,注：,元数据（,metadata,），包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等,。,存储节点存储节点存储节点存储节点云存储的系统架构云存储的系统,云存储的工作流程,数据,控制节点,控制节点,控制节点,存储节点,存储节点,存储节点,存储节点,网 络,业务系统,申请,调度,调度,备份,同步,云存储系统,3,4,1,2,1,2,3,4,业务系统向控制节点申请存储资源，控制节点回复调度信息,数据经由网络，到达存储节点进行分布式存储,控制节点与存储节点间同步调度与存储信息,控制节点间进行元数据同步备份,存储节点的数据进行复制或,RAID,备份,云存储的工作流程数据控制节点控制节点控制节点存储节点存储节点,存储节点,存储节点,存储节点,存储节点,存储节点,海量存储，弹性伸缩,相比传统的存储设备，云存储可支持的存储节点数以,千,计，支持的容量达,百,PB,级别，并可弹性伸缩，无缝扩展。,1,2,3,4,8,5,6,7,9,控制节点,控制节点,控制节点,1,2,3,4,8,5,6,7,9,增加存储节点,，数据自动重组,减少存储节点,，数据自动恢复,6,4,7,存储节点存储节点存储节点存储节点存储节点海量存储，弹性伸缩相,传统的存储设备并发读写性能，受到,NAS,机头、,CPU,或控制器的能力限制，而云存储系统采用,控制与数据分离,的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到,网络吞吐能力,的限制。,存储节点,存储节点,存储节点,存储节点,存储节点,控制节点,控制节点,控制节点,数据流不经过控制节点,千兆交换网络,万兆交换网络,高并发读写性能，摆脱单台设备能力束缚,传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的,传统的存储设备并发读写性能，受到,NAS,机头、,CPU,或控制器的能力限制，而云存储系统采用,控制与数据分离,的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到,网络吞吐能力,的限制。,高并发读写性能，摆脱单台设备能力束缚,存储设备,300,路高清,已经撑不住了,毫无压力,30000,路高清,云存储,传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的,云存储系统的控制节点采用集群架构，单点发生故障时，可无缝切换，系统业务不会中断。,控制节点,控制节点,控制节点,工作节点,备份节点,备份节点,高可靠，系统业务不中断,云存储系统的控制节点采用集群架构，单点发生故障时，可无缝切换,云存储可为多个业务系统同时提供服务，内部架构对其透明，提供统一的访问入口，利于数据共享与融合。,控制节点,控制节点,控制节点,存储节点,存储节点,存储节点,存储节点,存储节点,业务系统,1,业务系统,2,业务系统,3,业务系统,4,统一访问入口，多用户并行访问,云存储可为多个业务系统同时提供服务，内部架构对其透明，提供统,云存储的特点,-,高可用,，由及时维护变为定期维护,云,存储系统摆脱单台束缚，采用,数据冗余存储机制，硬盘或存储节点损坏时，其余节点可自动重组，数据不丢失，系统运行不受影响。,云存储的特点-高可用，由及时维护变为定期维护云存储系统摆,一个月后,云存储的特点,-,高可用,，由及时维护变为定期维护,维护人员仅需定期检查受损硬盘或节点，更换或修复即可。,一个月后云存储的特点-高可用，由及时维护变为定期维护维,应用篇,多谢好风吹起后，化为甘雨济田苗,应用篇多谢好风吹起后，化为甘雨济田苗,19,英寸,4U,机架式,支持,16,盘位，支持热插拔，支持不同容量磁盘混插,单台设备既可作为控制节点，也可作为存储节点,控制节点支持三台以上集群部署，业务不受中断,存储节点支持双份、多份复制或,RAID,的方式，确保数据完整,支持数百,PB,级存储容量,科达云存储系统,-,KCloudStor,科达云存储系统-KCloudStor,KCloudStor1000-48T,3T,企业硬盘,2,折售价￥,80000,KCloudStor1000-S48T,3T,监控硬盘,2,折售价￥,75000,科达云存储系统,-,KCloudStor1000,科达云存储系统-KCloudStor1000,部署模式与关键特性,控制节点与存储节点合一，工程部署时自由选择三台设备作为控制节点，在做为控制节点的同时，它也可以作为存储节点使用。,控制节点,KCloudStor1000,内置：,控制模块 手动启用,存储模块 手动启用,部署模式与关键特性控制节点与存储节点合一，工程部署时自由选择,视频监控主平台,LAN,视频监控从平台,云存储,智慧,城市对,云存储的要求,KCloudStor,在视频监控系统中的应用,智慧城市的监控点规模从几千个到几十万个不等，一般存储,30,天，存储容量可达数百,PB,。,海量存储，弹性伸缩,智慧城市中所有的摄像机以平均码率,2Mbps-4Mbps,并发存储，并发写数据量巨大。,高并发写性能,智慧城市对可靠性要求高：,724,小时不间断存储，系统业务不中断，数据损坏可恢复。,高可用，高可靠,视频监控主平台LAN视频监控从平台云存储智慧城市对云存储的要,视频监控平台,云存储,卡口平台,违章查询系统,KCloudStor,在卡口和电警解决方案中的应用,卡口,&,电警解决方案对云存储的要求,海量小文件存储,卡口平台存储图片与车牌信息，视频监控平台存储视频码流，图片和视频可存储在同一系统中，便于相互调度。,图片与视频数据共享,违章记录通过网站发布，应用系统从云存储系统中直接读取违章图片，供市民查询，要求云存储系统有快速检索与读取性能，满足并发读取的需求。,快速检索与读取,LAN,每台卡口式电警一年的抓拍量约在,300w,张左右，对于存储系统来说，需要管理大量的小文件。,KCloudStor,可以管理的文件数量达百亿级别，完全符合需求,视频监控平台云存储卡口平台违章查询系统KCloudStor在,图像侦查系统,视频监控平台,移动警务,KCloudStor,在视频图像信息数据库中的应用,视频图像信息数据库对云存储的要求,统一访问空间,信息数据库中的数据需要永久保存，数据量可达数百,PB,级别。为保证数据不丢失，通常采用复制方式进行备份。,海量存储，高可用,LAN,云存储,图像资源库,实战应用系统,卡口平台,信息数据库库中的数据可由不同的业务系统并发写入和读取，云存储系统可提供统一访问空间，无需在各类业务系统间进行调度，极利于数据的融合与共享。,图像侦查系统视频监控平台移动警务KCloudStor在视频图,竞争篇,曾经沧海难为水，除却巫山不是云,竞争篇曾经沧海难为水，除却巫山不是云,存储系统的发展历程,首先，我们来回顾一下存储系统的发展历程,业务系统,操作系统,磁盘柜,SCSI,、,FC,、,SAS,优点：,部署简单,缺点：,不