存储基础培训

Infortrend存储基础知识培训,磁盘阵列,Infortrend广州办事处,什么是磁盘阵列,磁盘阵列简称RAID(Redundant Arrays of Inexpensive Disks) ，是由很多便宜、容量较小、稳定性较高、速度较慢磁盘，组合成一个大型的磁盘组，利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能。 磁盘阵列柜就是装配了众多硬盘的外置的RAID(简称阵列、盘柜、磁盘阵列),磁盘阵列发展1内部存储,磁盘阵列发展2外部存储(JBOD),磁盘阵列发展3模块化存储(双控),磁盘阵列发展4多处理器(Scale up),磁盘阵列发展5虚拟化 (Scale out),常见磁盘阵列系统,磁盘阵列系统装置前视图,磁盘阵列系统装置后视图,磁盘阵列系统装置背板,阵列控制器内部结构,Block Diagram,Server / Servers or Switch / Switches or Zones on one Switch,阵列控制器外部结构,iSCSI 主机控制器面板,光纤主机控制器面板,SAS 主机控制器面板,Infortrend控制器缓存保护技术,CBM (缓存备份模块) BBU + Flash 备份模块 Cache Safe 技术 Cache safe技术可在突然断电的情况下将缓存中数据永久保存在Flash SSD中，不受传统的72小时保护机制限制.,典型中端磁盘阵列扩展,数据存储架构DAS NAS SAN,DAS (Direct Attached Storage),存储设备直接连接到服务器； 传统的、最常见的连接方式，容易理解、规划和实施； 没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储； 各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；,文件服务器,存储设备,应用服务器,存储设备,数据库服务器,存储设备,LAN,数据流,数据流,数据流,NAS (Network Attached Storage),NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。 NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。,文件服务器,应用服务器,NAS存储设备,LAN,数据流,数据流,SAN (Storage Area Network),SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构 ； 高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。,文件服务器,应用服务器,存储设备,LAN,数据流,SAN,存储设备,存储设备,数据流,存储网络的三种形态比较,存储架构适用分类,SAN: 提供可用性、可管理性和扩展性 目标应用: 数据库/ERP/OLTP 灾难恢复 数据仓储,NAS: 易于安装和管理，低价位, 目标应用: 文件服务器集中/更换 PDM/CAD 文件共享,DAS: 只适用于小型商务,多路径,冗余路径管理软件能够解决哪些问题？ 避免存储链路单点故障 保证在磁盘阵列控制器切换时数据访问的不间断 多链路负载均衡提升存储系统访问性能,数据存储需求挖掘？,广州原创动力数据集中存储、管理一体化解决方案,数据分层与数据分级？,备份/恢复技术,备份（Backup） 收集数据存储在非易失性的存储介质上（通常为可移动的介质），万一当原先的数据丢失或不能访问时，可以用来进行恢复。 备份就是创建备份副本的操作, 应用和用户不能直接访问备份副本。 备份方式：LAN备份、LAN Free备份、Server Free备份。,什么是备份？,文件服务器,数据库服务器,备份服务器,磁带库,磁带,RTO (恢复时间目标) 在业务中断后的某一个时间点，业务的进程或应用服务必须恢复，确保业务正常进行（你能接受多长的宕机时间） RPO (恢复点目标) 在已确定的RTO内，应用数据或文件系统信息必须恢复到某一个时间顺序点 (你能接受丢失多少数据）,什么是RTO/RPO？,数据保护时间轴,Failure 出错时刻,12 hrs,12 hrs,12 hrs,12 hrs,12 hrs,12 hrs,全备份,.,全备份,全备份是在某一个时间点上所有数据的一个完全拷贝,Full backup（全备份）,备份类型-全备,全备份,.,增量,全备份,增量备份即对上次备份以后的最新变化数据的备份,Incremental Backups（增量备份）,备份类型-增量,全备份,差分,全备份,差分备份即对上一次全备份以后的所有变化数据的备份,.,Differential Backups（差分备份）,备份类型-差分,合成全备份,合成全备份：将增量备份或差异备份合成一份全备文件,LAN环境下数据流走向,Application Server,LAN,RAID or JBOD,Tape Library,Backup Server,LANfree备份数据流的走向,Local Area Network,Metadata,Backup Server,Backup Client,Serverfree数据流走向,Disk,Fibre Channel,Local Area Network,Storage Area Network,产品背景： 存储介质售价一直都在不停下降，却远远赶不上数据保存和备份的数据量的攀升速度，在这种环境下重复删除技术应运而生。 重复数据删除是一种数据缩减技术，通常用在基于磁盘的备份系统，目的是为了减少存储系统中使用的存储容量。采用“重复删除”技术可以将存储的数据缩减为原来的1/15，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。 用更少的空间存更多的数据。,重复数据删除,依据数据处理方式的不同，分为以下两种： 其一是在线处理（Inline），Data Domain就是这一技术的代表厂商，这一方式中，数据在读进来之后，在存到磁盘之前就已经进行了重复数据删除； 其二是以昆腾作为代表的后处理（Post-processing），采用这一方式的话，数据在存到磁盘上后，才会进行重复数据删除，在存到磁盘前，数据没有减少。,重复数据删除的处理方式,快照（Snapshot） 为指定的数据集创建一个完全可用的数据副本，它包含了副本在创建时刻（时间点）的数据映像 快照实现方法： 存储嵌入式快照：快照软件运行在网上的存储设备中 基于主机的快照：快照软件运行在服务器中，通常驻留在操作系统级别的逻辑卷中,快照,File Server,Database Server,Backup Servers,Tape Library,Tapes,Continuous Data Protection持续数据保护是一套方法，CDP可以捕获或跟踪数据的变化，并将其独立存放在生产数据之外，以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点。” 从数据保护时间上分为：CDP技术分为真CDP（True CDP）和准CDP（Near CDP）两类,CDP 技术简述,备份、快照、复制、CDP,Archive(归档),将相对不重要的数据转移到速度较慢并且价格便宜的存储介质上，是一种最原始却最为有效的节约成本的方式。数据归档集成了数据迁移、管理、收集、保存以及介质管理等功能 ，主要用于长久保存数据和文件以备日后查询取用。,数据备份手段 一,硬件级备份 硬件级的备份是指用冗余的硬件来保证系统的连续运行。比如磁盘镜像，双机容错等方式。如果主硬件损坏，后备硬件马上能够接替其工作，这种方式可以有效地防止硬件故障，但无法防止数据的逻辑损坏 当逻辑损坏发生时，硬件备份只会将错误复制一遍，无法真正保护数据。硬件备份的作用实际上是保证系统在出现故障时能够连续运行，更应称为硬件容错,数据备份手段 二,软件级备份 软件级的备份是指通过备份软件将数据保存到其他介质上，当出现错误时可以将系统恢复到备份时的状态。由于这种备份是由软件来完成的，所以称为软件备份。 用这种方法备份和恢复都要花费一定时间。但这种方法可以完全防止逻辑损坏，因为备份介质和计算机系统是分开的，错误不会复写到介质上。这就意味着，只要保存足够长时间的历史数据，就能够恢复正确的数据。,数据备份手段 三,人工手动备份 人工级的备份最为原始，也最简单的备份。但如果要用手工方式从头恢复所有数据，耗费的时间恐怕会令人难以忍受。,备份需求挖掘？,集群基础,什么是集群技术？ 所谓集群就是为客户机提供资源的一组计算机系统，常见集群技术一般包括三类： 高可用集群（以减少服务器中断时间为目的的集群技术） 高性能计算集群（以提高科学计算能力为目的的计算机集群技术） 高扩展集群（带负载均衡策略的服务器群集）,集群技术：至少将两个系统连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成的WEB服务器集群系统，它对每个终端用户是透明的，而且完全就像一台服务器在工作。,集群概述,服务器A,服务器B,镜像盘,心跳线,公用网络,1、在服务器之间，通过网络方式镜像数据，不需要采购磁盘阵列，节约成本 2、大数据量读写时，两台服务器会出现数据不同步 3、镜像数据占用大量服务器资源，降低系统性能,无磁盘阵列,有磁盘阵列,1、双机集群的主流配置方式 2、采用了共享存储，消除数据不同步的现象，系统性能不会降低 3、多服务器集群常采用NAS模式实现存储共享,集群的存储系统,双机热备,磁盘阵列,心跳连接,公用网络,客户端,Active,Standby,服务器A,服务器B,应用,双机热备是指两台计算机为某一目的组合在一起的技术，两台计算机构成系统的两个节点，当其中一个节点不可用或者不能处理用户请求的时候，系统自动将该节点资源转移到另一个节点处理。,双机互备,磁盘阵列,心跳连接,公用网络,客户端,Active,Active,服务器A,服务器B,应用A,应用B,构建适用的存储系统 -Infortrend产品交流,1993年创立，致力于磁盘阵列控制器以及整机产品的研发； 在美国、欧洲、亚洲多个国家设有分支机构； 全球众多OEM合作伙伴，包括Quantum、Adaptec、Sun、 DotHill， Toshiba，Bosch，HoneyWell，曙光，浪潮，联想 中兴等知名企业； 世界第3大，亚洲第1大磁盘阵列厂商 拥有众多的专利技术，处于第三方存储产品市场的领先地位； 多规格、多技术的磁盘阵被广泛应用到世界各地的众多领域； 平均故障率业内最低。,一、Infortrend公司简介,Infortrend公司实力,技术开发人员 (3),项目管理 (17),专利申请 (7),TR IP,PM,EMC/ Safety,EVT DVT,ASIC Firmware 硬件 机械设计 软件,信号 完整性,ASIC 设计 (12) Firmware 设计（23) 软件设计 (15) 硬件设计 (22) - EE hardware design - Utility design 机械设计14) - Mechanism design - Thermal team,信号完整性 (7) Board simulation High Frequency signal problem solving EMC / 安全 (12) 工程验证测试(13) 设计验证测试 (32) Product Maturity test Environment test HALT / HASS test,坚实而强大的技术基础 Total: 177名核心技术研发人员,产品一站式设计与制造,100% 自主研发, 包括 ASIC, firmware, 硬件和整机系统集成 专业的设计、生产部门，每一部件都经过严苛测试 Infortrent具有存储行业最长的产品线 多项技术都是全球首发 8Gb/s FC-host RAID array -2009年 2.5”-drive RAID array -2007年 SAS-drive RAID array -2005 SATA-drive RAID array -2003,功 能,Entry-level,Midrange,High-end,1U-4U FC, iSCSI, SAS, SCSI host SAS, SATA, FC drives 最大扩展 224 颗磁盘,基于 EonStor硬件 支持 快照 和卷拷贝/卷镜像,Scale-out（横向扩展） 存储虚拟化 FC, iSCSI 主机同道 SAS, SATA 磁盘 （SSD固态磁盘 ） 最大扩展 1344 颗磁盘,Infortrend产品之路,Infortrend里程碑,存储控制器OEM / ODM300 个型号全球销量200,000,EonStor 入门级 DAS/SAN 存储系统400 个型号 全球销量128,000,SANWatch 存储 管理软件,ESVA 中高端 虚拟化存储系统,EonStor DS入门级 DAS/SAN 存储系统 (加入数据保护软件),Source: Worldwide Disk Storage Systems 2007 Vendor Shares : Year in Review, IDC,2007年磁盘存储排名,60,全球：入门级存储阵列供应商出货量所占市场份额（0-24999美元）,全球：外接存储阵列供应商出货量所占市场份额-针对所有操作系统,2010年3月数据 来自Gartner,Infortrend产品亮点概览,整机模块化无线缆设计,RISC+ASIC架构控制器,CacheSafe,绿色环保设计,多种管理警示方式,- 智能磁盘降速 80Plus认证电源,- LCD前面板 SANWatch一体化存储管理套件 基于Java的WEB浏览器管理 RS-232管理 蜂鸣报警及指示灯、Email、 SNMP等方式,扩展能力,传承的高可用性硬件设计,无单点故障 冗余热插拔部件 PSU, FAN, RAID Controller 数据传输保障 CacheSafe缓存保护技术杜绝系统断电造成的数据丢失 多种管理及警示方式 SANWatch一体化集成管理套件,Redundant Power Supplies & Fans,Redundant Controllers,快照及卷拷贝/镜像/远程复制,快照 数千份指针型快照 几秒种内恢复数据 卷拷贝/镜像/远程复制 卷拷贝/镜像实现本地备份 远程复制实现数据容灾 同步/异步两种复制模式,80+高效率电源 提供高于80的交直流转换效率 磁盘 drive spin-down 技术 节省高达 65% 的power 两段式风扇，动态冷却机制,绿色节能设计,Source: datasheet/ spec of each storage vender,EonStor系列产品概述,简易,稳定,实用,极富性价比的入门级磁盘存储 1U/2U/3U/4U,12/16/24Bay SATA, SAS,FC,SSD多种磁盘规格 融合6Gb SAS,FC 8Gb,ISCSI 10Gb等尖端接口技术 PowerPC, 独立ASIC XOR引擎 FC-SAN,IP-SAN,DAS多种存储架构,EonStor 系列产品结构,EonStor DS系列产品概述,稳健，可靠，高效的中端存储解决方案 控制器2P1A(2PowerPC+1ASIC667)，Active-Active双活设计 广泛的SAN连接性 FC 8Gb,ISCSI 10Gb 支持AIX,HP-UX,Solaris，Linux，Windows等众多系统平台，Vmware ESX认证 完善的多路径管理（Multipath）解决方案 增强的数据保护功能,ESDS系列产品结构,DS=Data Service,EonStor DS系列产品特点,培训,验收,实施,高性能,增值,ESVA-开创存储新纪元,Enterprise Scalable Virtualized Architecture 企业级可扩充的虚拟化存储系统架构,基于虚拟化技术的集群存储架构 SCALE-OUT/UP架构，实现性能和容量的同步提升 自动精简技术（Thin provisioning）最大化存储利用率 并行I/O技术和多通道负载均衡机制最优化存储系统的性能 关键任务优先QOS 高级数据保护功能强化数据安全与业务连续性,ESVA虚拟化集群架构,传统通道带宽恒定不变,存储容量利用率低,Scale-Up 纵向扩展,单一系统CPU,单一系统内存,单一系统带宽,Scale up 纵向扩展,数据空间集中管理,Scale Out横向扩展,向虚拟池添加子系统,Application Server,2TB,2TB,Virtual Pool,迁移数据停机时间为0,2 x Bandwidth,从虚拟池中删除子系统,Application Server,2TB,2TB,Virtual Pool,迁移数据停机时间为0,76,76,ESVA分布式负载平衡,增强的EonPath多路径技术 IO请求均匀的分布于存储系统的各个虚拟池成员中 横向扩展架构中，性能成线性上升,关健任务优先-QOS,可针对不同的应用的重要性或访问频度来定义访问优先级 计算能力，带宽，Cache，容量等资源均可自动调节 面向应用的存储服务(AOS),存 储 池,ESVA N+1架构,ESVA自动分级存储,依據IO數據塊活躍程度自動區分磁盤性能存儲數據塊,ESVA重复数据删除,81,ESVA自动精简配置,在数据写入时，动态的 分配容量 成本效益 延迟采购设备 使容量利用率最优化 30-40% 80-90% 降低能源、空间和制冷的费用 管理效益 扩展卷时，不需要停机时间 简化容量规划 消除个別卷的使用率低 監控的人工投入减少,数据保护 软硬兼施,基本数据保护 卷快照 1024/VOL 卷复制 卷镜像 高级数据保护 远程复制 防范物理故障,逻辑故障 基于数据的增值应用 数据备份 数据分析 开发测试,智能数据保护,快照 在短期内恢复文件和回滚数据 卷镜像/复制 发生灾难后，能在几分钟内重启服务 在单个虚拟池中或多个虚拟池之间进行拷贝,远程复制,同步模式/异步模式 目标卷上备有快照,Virtual Pool #1,Virtual Pool #2,采用同步模式进行数据I/O,采用异步模式进行数据读写,性能对比,SPC-1 (Storage Performance Council)在相同环境下对同档次产品进行的性能测试报告,ESVA带宽性能,ESVA F60 单节点 700-800MB ESVA F60 12节点 7GB-8GB ESVA F20 单节点 550-600MB ESVA F20 12节点 6GB-7GB Hx公司官方公布XP系列带宽表现,ESVA 产品FC,ESVA的适用环境,高性能计算环境 数字媒体制作环境 企业级数据库应用 数据中心，存储整合 虚拟化应用环境,Thanks！,