数据存储与备份基础知识培训课件

数据存储与备份基础知识培训程志强程志强汇报提纲存储1备份2恢复与容灾3传统计算机存储系统的问题传统计算机存储系统的问题l l 硬盘的容量有限硬盘的容量有限l l 有限的硬盘槽位，难满足大容量需求有限的硬盘槽位，难满足大容量需求l l 单个硬盘存放数据，数据可靠性难以保证单个硬盘存放数据，数据可靠性难以保证l l 存储空间利用率低存储空间利用率低l l 本地存储，数据分散本地存储，数据分散 数据被破坏的原因自然灾害系统管理员及维护人员的误操作计算机设备故障病毒感染造成的数据破坏Internet上“黑客”的侵入和来自内部网的蓄意破坏存储备份的意义随着信息技术的飞速发展，人们对计算机信息系统的依赖程度越来越强，信息化给人们带来快捷的服务和方便的管理时，也给人们带来数字信息丢失的风险。数据的丢失会中断企业的正常运行，同时也会给企业造成巨大的经济损失。数字信息丢失、破坏，就无异于丢掉了过去、失去了现在，甚至断送了未来。数据丢失的主要原因可分为二大类，一类为存放数据的硬件设备出现故障，另一类是人为因素，如计算机犯罪、计算机病毒、软软件错误及人为的误操作。其中，人为的误操作是最常见的现象。因此，数据的存储、备份成为保证数据安全的重要措施。存储备份也称为数据备份，数据备份是将数据以某种方式加以保留，以便在系统遭受破坏或其他特定情况下重新加以利用的一个过程。而数据备份的最终目的不是备份，而是快速恢复数据。存储1 存储的概念存储的概念存储的概念存储的概念存储的组网形态存储的组网形态存储的组网形态存储的组网形态主要协议主要协议主要协议主要协议RAIDRAID磁盘热备与重构磁盘热备与重构磁盘热备与重构磁盘热备与重构什么是存储什么是存储1、存储是信息的载体，是围绕“信息、数据”而展开的，提供信息保存、信息备份、信息安全以及信息生命周期管理设备。2、存储是根据不同的业务，采用合适、安全、有效的技术方案将信息存放在具有冗余、保护、迁移等功能的物理媒介。3、存储是实现核心业务数据存放、关键数据保护、高效率的备份恢复和归档，以及搭建容灾系统提供业务连续性等的一个完整的系统。存储（磁盘阵列磁盘阵列）的构造1、控制器2、磁盘柜、扩展柜3、磁盘影响磁盘阵列可靠性稳定性的因素电源系统散热系统背板设计控制器环境监控Host Spare 存储的分类存储的三种常见模式DASDirectAttachedStorageNASNetworkAttachedStorageSANStorageAreaNetworkDAS DAS（DirectAttachedStorage直接连接存储）是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上。DAS的适用环境为：1）服务器在地理分布上很分散，通过SAN或NAS在它们之间进行互连非常困难时(商店或银行的分支便是一个典型的例子)；2）存储系统必须被直接连接到应用服务器（如MicrosoftClusterServer或某些数据库使用的“原始分区”）上时；3）包括许多数据库应用和应用服务器在内的应用，它们需要直接连接到存储器上，群件应用和一些邮件服务也包括在内。当服务器在地理上比较分散，很难通过远程连接进行互连时，直接连接存储是比较好的解决方案，甚至可能是唯一的解决方案。利用直接连接存储的另一个原因也可能是企业决定继续保留已有的传输速率并不很高的网络系统。DAS基于基于DAS结构的存储备份结构的存储备份 DAS优点v低费用v使用简单v容易安装v价格相对较低缺点v不能共享v连接距离有限v升级困难v缺乏较好的高可用性v维护复杂适宜于小型机构的存储解决方案 网络附加存储设备（NetworkAttachedStorage，NAS）是一种专业的网络文件存储及文件备份设备，它通过标准的网络拓扑结构连接到计算机网络上，利用现有的网络资源来接入专用的网络存储设备，因此也称为网络直网络直联存储设备联存储设备、网络磁盘阵列系统网络磁盘阵列系统。NAS优点v容易安装，维护简单v共享数据v跨平台文件共享v远程访问v减轻服务器负担v充分利用网络带宽缺点v不适合数据库存储v孤立的存储设备v传输速率低成为瓶颈主要适宜于文件存储的解决方案NASSAN基于基于SAN结构的存储备份结构的存储备份 存储域网络（StorageAreaNetwork）以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有高传输速率的光纤通道直接连接，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。光纤通道=是SANFabric的基础为存储系统提供一个网络连接模式客户机LAN(局域网局域网)广域网广域网存储区域网存储区域网（第二网）Fabric=第二网第二网“Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络,这一数据网络可以提供企业级的性能,扩展能力,可管理能力,可靠性和可用能力服务器存储子系统第一网第一网SANFiberChannelSwitchesDiskArray主机服务器光纤交换机磁盘阵列简单的SAN存储结构线缆（光纤或铜线）FCHBA、GBIC、&MIAFCHUB/交换机数据网关服务器存储管理软件:TivoliSANergyVERITASSANPointDirectADICCentravisionSGICXFSTransoftFibreNetATTOStudioNet存储系统RAID，JBOD磁带存储设备光存储设备SAN的的组成组成优点v设备整合，维护方便v存储资源利用率高v高扩展性v高数据存取效率v充分利用网络带宽缺点v成本较高v安装和升级比NAS复杂主要适宜于大型数据存储的解决方案SANDAS（直连式存储）NAS（网络式存储）SAN（存储区域网络)传输类型SCSI、FCIPIP、FC、SAS数据类型数据块文件数据块典型应用任何(适用于小型机构的存储解决）文件服务器数据库应用优点v磁盘与服务器分离，便于统一管理v使用简单v容易安装v价格相对较低v容易安装，维护简单v共享数据v跨平台文件共享，支持多系统v远程访问v减轻服务器负担v充分利用网络带宽u高扩展性u高可用性u数据集中，易管理缺点v不能共享v连接距离有限 v升级困难v缺乏较好的高可用性v维护复杂v不适合数据库存储v孤立的存储设备v传输速率低成为瓶颈u相比NAS成本较高u安装和升级比NAS复杂存储传输的硬件通道有三种：&传输通道传输通道&通过以太网线连接通过SCSI线缆连接通过光纤线缆连接iSCSIHBACardiSCSI磁盘阵列SCSIHBACardSCSI磁盘阵列FCHBACardFC磁盘阵列以太网线SCSI线缆光纤线缆主机GECardRAID概念级别RAID 0RAID 0RAID 1RAID 1RAID 3RAID 3RAID 5RAID 5RAID 6RAID 6RAID DPRAID DPRAID 10RAID 10RAID 01RAID 01早期外部存储系统早期外部存储系统JBODJBOD（JustaBunchofJustaBunchofDisksDisks）：是在逻辑上把几个是在逻辑上把几个物理磁盘一个接一个的串联在物理磁盘一个接一个的串联在一起，其目的纯粹是为了增加一起，其目的纯粹是为了增加磁盘的容量，并不提供数据安磁盘的容量，并不提供数据安全保障全保障。CPU硬盘RAMServerServerRAIDRAID功能功能SCSISCSI卡卡JBOD(Just Bound Of Disk)JBOD(Just Bound Of Disk)存储技术的核心：RAIDRAID是“RedundantArrayofIndependentDisks”的缩写，中文意思独立磁盘冗余阵列，早期又称“RedundantArrayofInexpensiveDisks”廉价磁盘冗余阵列，由美国加州伯克利分校的D.A.Patterson教授在1988年提出。简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式成为RAID级别（RAIDLevels）。RAID 0：条带化结构：条带化结构以条带形式将RAID组的数据均匀分布在各个硬盘中，因此具有很高的数据传输率。它没有数据冗余，尽管不占用CPU资源，但并不能算是真正的RAID结构。RAID0只是单纯地提高性能，并没有为数据的可靠性提供保证，而且其中的一个磁盘失效将影响到所有数据。RAID 0不能应用于数据安全性要求高的场合。不能应用于数据安全性要求高的场合。最少磁盘数最少磁盘数2个个允许坏允许坏0颗磁盘颗磁盘容量计算：容量计算：C=N*DC：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：优点：传输率和硬盘利用率最高，价格便宜。缺点：缺点：无冗余，可靠性最差，其中一个磁盘发生故障，所有数据将丢失。应用：应用：通常使用在暂存数据和高 I/O 速率的工作站。RAID0yMyFileliFMeRAIDLevel0:RAIDLevel0:带区集带区集RAID 1：镜像结构：镜像结构它是通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互为备份的数据，100%的数据冗余。当原始数据繁忙时，可直接从镜像拷贝中读取数据，因此RAID1可以提高读取性能。RAID1的成本比较高，其硬盘空间利用率只有1/2。当一个磁盘失效时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效的数据，提供了很高当一个磁盘失效时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效的数据，提供了很高的数据安全性和可用性。的数据安全性和可用性。最小磁盘数最小磁盘数2个。个。允许坏允许坏1颗磁盘颗磁盘容量计算：容量计算：C=(N/2)*DC：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用。缺点：缺点：需要 2 个磁盘，但只使用其中一个存储数据。应用：应用：通常使用于较小的系统，其中一个磁盘的容量足够，并用作启动盘。RAID1 RAID1:RAID1:镜像镜像MyFileyyeeMMFFiillRAID3：带奇偶校验码的并行传送：带奇偶校验码的并行传送将数据条块化分布于不同的硬盘上，RAID3使用简单的奇偶校验，并用单块磁盘存放奇偶校验信息。如果一块磁盘失效，奇偶盘及其他数据盘可以重新产生数据；如果不过如果校验盘也损坏，就无法恢复数据了。RAID具有较高的读速率，适合大文件连续操作的应用。具有较高的读速率，适合大文件连续操作的应用。但有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降。但有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降。最小磁盘数最小磁盘数3个。个。允许坏允许坏1颗磁盘，但不能是校验盘颗磁盘，但不能是校验盘容量计算：容量计算：C=(N-1)*DC：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用优点：优点：很好地利用了磁盘空间（如 n 个磁盘的阵列，n-1 被用作数据存储）缺点：缺点：必须计算冗余信息，这样就限制了写入性能 应用：应用：由于安装容量与实际可用容量的比率较高，通常用于较大的数据存储系统RAID3RAID3:RAID3:带专用校验驱动器的带区集带专用校验驱动器的带区集yMyFileliFMeP PP PP PRAID5：分布式奇偶校验的独立磁盘结构：分布式奇偶校验的独立磁盘结构实际是由RAID3所衍生而来的技术。RAID3的工作速度比RAID0要慢一些，如果存储数据的硬盘发生损坏，可利用校验盘上的校验信息恢复数据，不过如果校验盘也损坏，就无法恢复数据了。RAID5针对RAID所存在的安全隐患，将数据奇偶校验信息均匀分布在各数据硬盘上，硬盘同时保存数据和校验信息，这样就不用担心校验盘损坏所带来的数据安全问题，RAID 5是最常用的是最常用的RAID方式之一。方式之一。允许坏允许坏1颗磁盘颗磁盘最小磁盘数最小磁盘数3个。个。容量计算：容量计算：C=(N-1)*DC：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用；很好地利用了磁盘空间缺点：缺点：必须计算冗余信息，这样就限制了写入性能 应用：应用：由于安装容量与实际可用容量的比率较高，通常用于较大的数据存储系统RAID5yMyFileliFMeP PP PP PRAID5:RAID5:带分布校验位的带区集带分布校验位的带区集RAID10：高可靠性与高效磁盘结构：高可靠性与高效磁盘结构是将镜像和条带进行两级组合的级别。第一级是RAID1镜像，第二级为RAID0累加，这种组合提高了读/写速率，并可用允许硬盘损坏，因此RAID10也是一种应用比较广泛的RAID级别。但是RAID10和RAID1一样只有1/2的磁盘利用率。最小硬盘数4个。适合银行、证劵类对数据非常敏感的企业允许坏允许坏2颗磁盘颗磁盘容量计算：容量计算：C=N*D/2C：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：优点：高读取速度；高写入速度，写开销较小；特定情况下，可以允许N/2个硬盘同时损坏缺点：缺点：磁盘利用率低，只有1/2的硬盘利用率，至少需要4块磁盘应用：应用：数据量大，安全性要求高的环境，如银行、金融等领域RAID10RAID-0RAID-1RAID-1MMyyFFiilleeMyFileRAID10和和RAID01是否是否一致？一致？RAID1RAID1RAID0RAID0RAID0RAID1RAID10模型模型RAID01模型模型RAID 6（独立的数据硬盘与两个独立分布式校方案）（独立的数据硬盘与两个独立分布式校方案）RAID6等级是在RAID5基础上，为了进一步加强数据保护而设计的一种RAID方式，实际上是一种扩展RAID5等级。与RAID5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区。当然，当前盘数据块的校验数据不可能存在当前盘而是交错存储的，具体形式见图。RAID6DP的工作原理D12D0D4D8D13D1D5D9D14D2D6D10P3P0P1P2DP3DP0DP1DP2驱动器驱动器1驱动器驱动器2驱动器驱动器3横向校验盘横向校验盘斜向校验盘斜向校验盘条带0条带1条带2条带3DP4D15D3D7D11驱动器驱动器4DPDoubleParity，就是在RAID4所使用的一个行XOR校验磁盘的基础上又增加了一个磁盘用于存放斜向的XOR校验信息横向校验盘中P1P4为各个数据盘中横向数据的校验信息例：P0=D0XORD1XORD2XORD3斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息例：DP0=D0XORD5XORD10XORD15磁盘故障 数据恢复u所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。u热备盘分为：全局热备盘和局部热备盘全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。局部热备盘：只针对某一RAID组起作用。u因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。热备（HotSpare）本地、全局本地、全局本地、全局本地、全局 Hot SpareHot Spare盘盘盘盘HotSpare全局HotSpareSet1Set2本地HotSpareSet1Set2HotSpareHot Spare 具有 自动复制+替换 功能热备与重构热备与重构RAID5 set of drives:4 active,1 hot-spareCOPY BACK完成完成某个磁盘损坏，重构过程开始某个磁盘损坏，重构过程开始重构过程结束，重构过程结束，RAID5可靠性恢复冗可靠性恢复冗余余插入新磁盘，插入新磁盘，COPYBACK开始开始备份2 备份的系统介绍备份的系统介绍备份的系统介绍备份的系统介绍备份介质备份介质备份介质备份介质备份窗口备份窗口备份窗口备份窗口备份策略备份策略备份策略备份策略备份方式备份方式备份方式备份方式数据备份：就是使用存储介质，定期将系统/业务数据备份下来，以保证数据意外丢失时能尽快恢复，从而将损失降到最低点。其主要目的是通过备份的方式提高数据的安全性能。数据备份分类：离线备份，即把数据备份至磁带，目前的主要技术有LAN-free、Server-free等，这种方式恢复时间比较长，但投资较少；在线备份，也称数据复制，即同步数据备份，恢复时间非常短。备份系统介绍常用备份介质常用备份介质目前备份的常用介质磁盘：备份到Disk/RAID存储子系统中光盘：备份到光盘库中磁带：使用磁带机，磁带自动装载机或磁带库进行备份以前比较多的是使用磁带设备来备份数据新趋势：基于SATA的虚拟磁带库技术磁带库构成示意图磁带库构成示意图备份窗口备份窗口它是指在用户正常使用的业务系统不受影响的情况下，能够对业务系统中的业务数据进行数据备份的时间间隔，或者说是用于备份的时间段。备份窗口根据操作特性来设定。例如，如果数据从早上8点到午夜被使用，则可用于备份时间就为午夜到早上8点（备份窗口）。为了保证备份数据的一致性，在备份过程中数据不能被更改。所以在某些情况下，备份窗口是数据和应用不可用的间隔时间。备份的内容备份的内容重要数据；系统文件；应用程序；整个分区或整个硬盘；日志文件备份的层次：硬件级备份备份的层次：硬件级备份硬件级的备份是指用多余的硬件来保证系统的连续运行。如硬盘双工、双机容错等。如果一个硬件损坏，后备硬件马上能够接替其工作。但这种方式无法防止逻辑上的错误，如人为误操作、病毒、数据错误等，无法真正保护数据。硬件备份的作用实际上是保证系统在出现故障时能连续运行，更应称为硬件容错。备份的层次：软件级备份软件级的备份是指通过某种备份软件将系统数据保存在其他介质上，当系统出现错误时可以再通过软件将系统恢复到备份时的状态。这种方法备份和恢复要花费一定的时间。但这种方法可以完全防止逻辑损坏，因为备份介质和计算机系统是分开的，错误不会复写到介质上。只要保存足够长时间的历史数据，就一定能够恢复正确的数据。备份的层次：软件级备份软件级的备份是指通过某种备份软件将系统数据保存在其他介质上，当系统出现错误时可以再通过软件将系统恢复到备份时的状态。这种方法备份和恢复要花费一定的时间。但这种方法可以完全防止逻辑损坏，因为备份介质和计算机系统是分开的，错误不会复写到介质上。只要保存足够长时间的历史数据，就一定能够恢复正确的数据。全备份.全备份完全备份（FullBackup）：将系统中所有的数据信息全部备份。优点：数据备份完整。缺点：备份系统的时间长，备份量大。Fullbackup（全备份）Differential Backups(差分备份差分备份)Full BackupDifferentialFull Backup.差分备份（DifferentialBackup）：只备份上次完全备份以后变化的数据信息。优点：备份数据量适中，恢复系统时间短。Incremental Backups(增量备份增量备份)Full Backup.IncrementalsFull Backup增量备份（IncrementalBackup）：只备份上次备份后系统中变化的数据信息。优点：是数据备份量少、时间短。缺点：恢复系统时间长。传统方式的备份传统方式的备份LANClient 备份服务器备份服务器磁盘磁带磁盘I/O磁盘磁盘I/O网络I/O操作系统网络I/O操作系统网络网络Lan-free 的备份方式的备份方式应用应用服务器服务器备份备份服务器服务器光纤交换机光纤交换机应用应用服务器服务器磁带磁盘LAN指令指令备份卷备份卷应用应用服务器服务器备份备份服务器服务器光纤交换机光纤交换机应用应用服务器服务器磁带磁盘LANServer-less 的备份方式的备份方式生产卷生产卷恢复与容灾3自强不息的创新意识与时俱进的经营思想海纳百川的资源整合厚德载物的企业文化