存储系统结构分析与架构设计

第 1 章 前言 3 第 2 章 存储基本概念 5 第 1 节 存储设备分类 6 1 1 SCSI 存储设备 7 1 2 SAS 存储设备 13 1 3 FC 光纤通道存储设备 15 1 4 ISCSI 存储设备 15 1 5 存储设备的融合和演变 20 1 6 磁带存储 20 1 7 应用存储 20 第 2 节 存储网络结构 20 2 1 DAS 存储系统网络结构 20 2 2 SAN 存储系统网络结构 22 2 3 NAS 存储系统网络结构 22 2 4 网络结构的融合和演变 22 第 3 节 FC 网络和 FC 交换机 22 3 1 FC 网络 22 3 2 FC 交换机设计 22 第 4 节 接口速率和存储带宽 22 第 5 节 存储共享 22 5 1 设备共享 22 5 2 文件系统共享 22 5 3 存储共享管理软件 22 第 6 节 业务系统分类 22 第 3 章 数据库系统存储设计 23 第 1 节 存储应用特点 23 第 2 节 设计准备 23 第 3 节 主备数据库系统设计 23 第 4 节 双机数据库系统设计 23 第 5 节 数据库备份系统设计 23 第 4 章 非线性网络系统存储设计 24 第 1 节 非性线编辑制作系统存储应用特点 24 第 2 节 带宽分析 26 第 3 节 容量分析 26 第 4 节 小型制作网存储设计 26 第 5 节 中型制作网存储设计 26 第 6 节 大型制作网存储设计 26 第 7 节 高清制作网存储设计 26 第 8 节 媒资系统存储设计 26 第 5 章 视频监控系统存储设计 27 第 1 节 视频监控系统存储应用特点 27 第 2 节 带宽分析 27 第 3 节 容量分析 27 第 4 节 小型视频监控系统存储设计 27 第 5 节 中型视频监控系统存储设计 27 第 6 节 大型视频监控系统存储设计 27 第 6 章 高性能计算系统存储设计 27 第 7 章 网站存储系统设计 28 第 8 章 视频点播系统存储设计 29 第 9 章 容灾中心存储系统设计 30 第 10 章 数字图书馆存储系统设计 31 前言 存储技术越来越火了 随着网络化 信息化和数据化的发展 数据量越来越大 需要用到的存储设备 的容量和数量也越来越多 几年前 一个存储系统的容量大约为几百 GB 到一两 个 TB 而现在的系统中存储设备容量一般都在 10 20TB 大型数据中心往往会 采用多台存储设备 不同存储设备负担不同的业务应用系统 存储容量经常超 过 100TB 911 事件 以后 为了保护重要数据不会丢失 几乎所有的大型企事业单位 跨国公司 网站和一些重要数据中心不仅增加了数据备份系统 还在纷纷在同 城或异地建立了大型数据容灾备份及业务容灾系统 从 2006 年开始 随着中国各级政府构建 和谐社会 及 平安城市 战略的实 施 各大城市都在建设全方位的大型视频监控网络系统 大量视频监控系统的 设计和建立不仅使得视频网络技术 图像传输技术 运动视频编解码技术等有 了最大程度的发展 同时也极大地促进了大容量存储系统的发展和应用 大量现有系统需要更多的存储设备或更大的容量来存储日益增加的数据 大量 的系统数据需要备份和容灾设备 大量新建设的系统需要容量更大 性能更高 的存储设备 这些需求不仅促进了存储设备的生产 研发和新技术的更新换代 同时也增加了整个社会对存储技术工程师的人力资源需求 存储市场的火爆 存储工程师的高工资和高待遇吸引了越来越多的 IT 技术人员 甚至非 IT 技术人员转行到存储行业 不断学习存储技术成了很多存储人自修和 充电的内容 为了学到更多的技术 走上了当年学习网络技术一样的老路 购 买大量高价书籍 上互联网络查找资料 翻阅众多厂商的产品技术白皮书 或 缴纳高昂的学费去接受厂商的短期技术培训 不仅耗费大量的时间 也花费了 大量的金钱 然而 与网络技术相比 存储行业发展的时间相对较短 已实施的案例不仅少 而且系统结构相对简单 书店中的书籍内容大多集中在纯理论方面 很少能涉 及到具体应用系统环境下的存储系统设计 厂商出于产品宣传 市场推广和最 终销售等目的 其产品资料 白皮书一般都对性能和功能有一定程度的夸大和 偏离 且内容基本上集中在自有产品的功能特点 参数配置 安装调试 后期 维护和故障排除方面 并不具有普遍性 而在网络上查找到资料大多内容雷同 很多资料还可能因为保密原因做了大量地删减 内容非常简单 在这样的学习环境下 很多技术人员除了记住一堆名词概念和英文缩略语 即 使能考到几个厂商所谓的认证之外 基本上并不具有实际地操作能力 长时间 学习但仍不具有存储系统设计能力和安装调试能力 到了一个工作岗位 仍然 需要很长时间才能进入工作状态 这样的状态对于常说的存储厂商的售前或售后技术工程师来说还相对好一点 毕竟具体产品的性能特点 功能 技术参数 硬件配置和安装调试内容等内容 相对较少 凡有一定基础的人员通过一定时间的培训后都可以很快成为一个售 前或售后工程师 但对于那些经常负责大型的 多应用类型的 结构复杂的应 用系统整体设计的人员来讲 他们所面临的困难就非常的了 本书内容主要集中在存储系统结构分析 不同行业的存储网络系统的访问特点 分析 存储系统设计前分析 设备选型 及安装调试时 RAID 组 交换机 ZONE 设置等方面 与常见技术资料相比 属于较高一级 适合于厂商和集成商中需 要为客户提高整体解决方案的售前技术工程师或解决方案顾问等人员 本书将尽量避免使用那些空泛抽象的概念和词语 通过通俗化和简单话的词语 向大家介绍如何理解存储 如何去分析一个存储网络系统的结构 如何根据具 体项目的需要去设计存储系统 以及如何进行存储设备选项 词语的通俗化和 简单化有助于大家更好地理解本书的内容 本书内容适用于已具有一年以上存储系统实施或系统设计经验 对 RAID Fable channel NAS SAN ISCSI FC SAN 等基础概念已有较深了解的 读者 本书中关于具体设备的安装调试内容较少 有兴趣的读者可以自行查阅 资料 第 1 章 存储基本概念 第 1 节 存储介质 大家都愿意学习存储技术 希望做更多与存储有关的工作 那么首先得明白存 储是什么东西 存储设备是指通过一定的存储介质 将文字 数字 图片 图像等具体数据 以及元数据 索引信息 地址信息等抽象数据进行长期保持 并可以通过 RAID 组校验 数据复制 备份容灾等多种方式来保证数据的安全 对外提供一定数 据传输接口 方便数据交换和传递的各种设备 存储设备的基础是存储介质 我们目前一般所说的存储介质是指磁盘 磁带 光盘 闪存等用来存储数据的 存储介质 但这个存储介质的范围只是侠义的 广义上的存储介质是指所有能 够记录数据信息 并可以长时间保存数据的设备 设施或者物体 除了磁盘 磁带 光盘和闪存等之外 还包括纸质书籍 锦帛 竹简 甚至原始时代用来 记录信息的绳结 石片和壁画 这些都是广义上的存储介质 这些介质都可以 保持数据不会轻易丢失 只不过不同时期人们可以获得的存储介质不同罢了 同时因存储介质不同 进行信息交换和信息传递的方式和方便性也不同 壁画 上的数据内容是不可变的 会随着时间的流逝而逐渐磨灭 且一般不可以用来 传递和交换的 石片 绳结 竹简 锦帛 纸质书籍等都有一定的保存期限 其传递和交换也只能通过手递手地方式 而我们现在经常谈到的磁盘 磁带 光盘和闪存等只是侠义上的存储介质 存 储在这些存储介质上的数据理论上可以无限期地保存下去 除了传统的手递手 交换外 还可以通过各种各样的网络来进行远程的快速传递和交换 存储是数据在时间上的延续 传输是数据在空间上的位移 与广义上或者传统 上的存储介质相比 现代存储介质在数据存储和数据传输两个方面区有不可比 拟的优势 本书内容主要介绍采用磁盘介质的存储系统设计 磁带介质的存储设备会有少 量涉及 基本上不涉及光盘存储设备 第 2 节 存储分类 大家对磁盘 磁带 光盘等存储介质有了初步了解之后即可以开始存储技术的 学习 然而初学存储技术的人可能会被 SAN NAS DAS FC ISCSI FC SAN IPSAN 等这些大量的术语和英文缩略语搞得晕头转向 技术资料的确看了 很多 但仍然无法清楚地知道这些概念之间根本的区别 因为常见的资料中一 般都不会对 SAN ISCSI FC SAN IPSAN 都多个概念进行分类 经常只是简单 地放在一起来进行论述 论述的内容的大多集中优缺点对比方面 但结果却是 相反的 经常是越比较越糊涂 很多初学者经常会问出这样的问题 SAN 和 NAS ISCSI 存储有什么区别 SAN 和 NAS 设备哪个更好 如何为一个应用系 统选择存储设备 实际上 SAN NAS DAS FC ISCSI FC SAN IP SAN 等并不是同一类别的概念 SCSI FC NAS ISCSI 等概念指的是存储设备类型 DAS NAS SAN 等指的是 存储系统的网络结构 存储设备类型是指通过采用 SCSI FC TCP IP ISCSI 等接口类型 数据传输 协议 以及不同数据存储介质的存储设备 常见的存储设备类型可为 SCSI 存储 NAS 存储 FC 存储 iSCSI 存储和磁带存储 存储设备类型这个概念的核心是设备 指的是由存储介质 驱动器 控制器 供电系统 冷却系统等组成的一个整体 它独立与网络层设备和主机层设备 因此当提到存储设备类型的时候 不要涉及与存储设备连接的网络设备和主机 区分一个存储设备的类型主要依靠存储设备对外提供的接口类型 数据传输协 议 和存储介质 比如存储设备的对外提供的接口是 SCSI 按照 SCSI 协议传 输数据的存储设备就是 SCSI 存储 如果再区分存储介质 那么存储介质为 SCSI 磁盘的存储被称为 SCSI SCSI 存储 存储介质为 SATA 磁盘的存储被称为 SCSI SATA 存储 存储名称分为两个部分 前面表示存储设备接口类型及接口 部分的数据传输协议 后部分表示存储介质 同样的道理 存储设备的对外提供的接口是 FC 光纤通道 按照 FC 光纤通道协 议传输数据的存储设备就是 FC 存储 存储介质为 FC 磁盘的存储被称为 FC FC 存储 存储介质为 SATA 磁盘的存储被称为 FC SATA 存储 注意 采用光纤通道协议的存储设备应该称之为 FC 存储或光纤通道存储 也可 以简称为光纤存储 不能称之为 SAN 存储 SAN 指的是一种存储系统的网络结 构 采用 ISCSI 输出协议 对外提高 ISCSI 接口的存储设备自然应该成为 ISCSI 存 储 只不过 ISCSI 一般都采用 SATA 磁盘作为存储介质 所以 ISCSI 存储在名称 上不会再细分 都通称为 ISCSI NAS 是一种特殊的存储设备类型 虽然 NAS 对外提供 IP 接口 按照 IP 协议进 行数据传输 但 NAS 最终提供给主机的是一个文件系统 SCSI 存储 FC 存储和 ISCSI 等提供给主机的是一个裸的 没有文件系统的逻辑卷 且 NAS 本身是一 个服务器 存储的结构 因此严格上讲 NAS 应该能算是一种存储系统结构 而 不是一个存储类型 不过很多时候我们都把 NAS 的服务器 存储结构看成一个整 体 这个整体又通过标准的 IP 传输协议来进行访问和数据传输 因此 NAS 一般 都被认为是一个存储设备类型 在本书中 NAS 既是一个存储设备类型 又是 一个存储系统网络结构 判断一个存储是够是磁带存储的标准是看这个存储设备是否采用磁带作为存储 介质 磁带存储的外部接口类型一般有两种 一是 SCSI 接口 二是 FC 光纤通 道接口 磁带根据存储的数据是否已经数据化可分为非数据化磁带 即模拟磁 带 数字磁带 和数据流磁带两种 模拟磁带一般常用与视音频文件的图像和 声音存储 不用与数据存储 不在本书的讨论范围之内 关于 VCD DVD SONY 蓝光盘等光盘存储和各种闪存 松下 P2 卡等闪存存储方 面的资料 请大家自行查阅相关资料 存储设备类型指的是存储设备这一个单体的分类 存储系统的网络结构自然是 指存储设备 主机 以及存储设备与主机之间的连接系统所形成的整体拓扑结 构 存储系统网络结构是指存储设备与服务器 工作站等需要进行数据读写操作的 主机之间的连接方式 网络拓扑结构 数据读写方式 存储共享方式和数据共 享方式 存储系统网络结构不同 存储设备的工作方式 流程和性能就会不同 大家常提到的 主流的存储系统网络架构有 DAS NAS SAN 三种网络架构 其 中 SAN 网络环境中 因采用存储设备类型的不同又可以分为 FC SAN 采用光纤 通道存储产品 和 IP SAN 采用 ISCSI 存储设备 1 1 SCSI 存储设备 SCSI 的英文全称为 Small Computer System Interface 中文名 小型计算机 系统接口 它是一种外设接口协议 广泛应用于服务器和高档 PC 中 SCSI 技术从推出至今 经过了 SCSI 1 SCSI 2 SCSI 3 Ultra2 SCSI Ultra3 SCSI Ultra160 SCSI 和 Ultra320 SCSI 等多个版本 其接口带宽从最初的 4MB S 一直发展到目前最快的 320MB S 目前 SCSI 存储设备普遍采用 Ultra160 SCSI 和 Ultra320 SCSI 协议 SCSI 技术经过了近 20 年发展 技术非常成熟 产品的研发和生产成本低 市 场正在销售的 SCSI 存储品牌种类繁多 销售价格非常的便宜 正因为如此 很 多初学存储技术的人对 SCSI 存储往往不屑一顾 认识 SCSI 存储是低端存储 学了没用没前途 甚至有的人认识学习 SCSI 技术有些掉价 其实不然 正因为 SCSI 存储技术成熟 结构简单 价格便宜 安装调试简单 使用及维护人员的 技术水平要求低 才会得到普遍的应用 即使在 FC 存储 NAS 存储 ISCSI 存 储风行的今天 SCSI 存储的应用数量也相当多 丝毫也不少于其它类型的存储 设备 与以前版本的 SCSI 硬盘相比 采用 Ultra320 SCSI 接口协议的硬盘接口标准更 高 读写速度更快 数据缓存更大 电机转速更高 寻道时间更短 CPU 占用 率更低 并且拥有自己独立的 I O 处理器 所有这些特性都注定 SCSI 硬盘是 硬盘中的速度之王 SCSI 磁盘也一直是高端硬盘的代名词 1 1 1 SCSI 存储结构 SCSI 存储设备技术成熟 结构简单 因此 SCSI 设备比 FC 设备 NAS 设备 SAN 设备具有更高的稳定性和高效率 下图是常见 SCSI 存储设备内部主要的功能模 块结构图 图 1 1 1 1 SCSI 设备内部功能模块结构图 在上图中可以看出 除了电源系统和风扇冷却系统之外 SCSI 存储设备内部只 有磁盘插槽 背板 控制器和接口等 4 个部分 图 1 1 1 2 SCSI 存储前面板 如上图所示 SCSI 存储磁盘插槽一般都在设备的前部 即可以竖向也可以横向 插入磁盘柜 SCSI 磁盘直接插入磁盘柜内部背板上的标准 SCSI 接口 SATA 磁 盘则通过 SATA SCSI 接口转换模块的转换后插入背板上的标准 SCSI 接口 所谓背板实际上是一个印制好的电路板 如同常见的计算机主板一样 上面有 多个标准化和非标准化的插槽 标准化插槽一般用来接入磁盘 电源和风扇等 标准化零部件 非标准化插槽一般用来接入厂商自己研制生产的控制器 不同 的背板提供不同类型和数量的插槽 背板上除了提高多个插槽之外 本身还是一个 SCSI 总线线路板 这一个 SCSI 总线线路板将磁盘和控制器连接在一起 实现数据在磁盘和控制器之间的传输 SCSI 存储上一般只有一个 SCSI 总线 无法提供磁盘和控制器之间的冗余连接 存储系统设计指南 9 什么是 ISCSI 存储 iSCSI 技术简介 iSCSI iSCSI internet Small Computer System Interface 是由 IIETF 开发的网络存储标准 目的是为了用 IP 协议将存储设备连接在一起 通过在 IP 网上传送 SCSI 命令和数据 ISCSI 推动了数据在网际之间的传递 同时也促 进了数据的远距离管理 由于其出色的数据传输能力 ISCSI 协议被认为是促 进存储区域网 SAN 市场快速发展的关键因素之一 因为 IP 网络的广泛应用 ISCSI 能够在 LAN WAN 甚至 internet 上进行数据传送 使得数据的存储不再 受地域的现在 ISCSI 技术的核心是在 TCP IP 网络上传输 SCSI 协议 是指用 TCP IP 报文 和 ISCSI 报文封装 SCSI 报文 使得 SCSI 命令和数据可以在普通以太网络上进行 传输 如下图 iSCSI 协议定义了在 TCP IP 网络发送 接收 block 数据块 级的存储数据 的规则和方 法 发送端将 SCSI 命令和数据封装到 TCP IP 包中再通过网络转 发 接收端收到 TCP IP 包 之后 将其还原为 SCSI 命令和数据并执行 完成 之后将返回的 SCSI 命令和数据再封装到 TCP IP 包中再传送回发送端 而整个 过程在用户看来 使用远端的存储设备就象访问本地的 SCSI 设备一样简单 早在 2001 年上半年 IBM 就推出了 IP Storage 200i 是市场上公认的第一 款基于 iSCSI 协议的产品 这款产品的出现 对于身处信息爆炸时代却无法承 担光纤通道 SAN 环境高成本的中小型用户来说 具有巨大的吸引力 2001 年 10 月 Cisco 也推出了 SN5420 存储路由器 基于 IP 标准和 SAN 标准 可以提 供与现有 LAN WAN 光纤和 SAN 设备之间的互操作 率先建立了 IP 网络与 SAN 之间的桥梁 现在 有更多的厂商参与到 iSCSI 产品的开发中 如 Intel 已经 推出了存储网卡 IP Storage iSCSI PRO 1000T 将协议转化也就是封装 还原 TCP IP 包的步骤转移到网卡上来执行 大大降低了服务器处理器的占用率 同 时 还有芯片 板卡制造商加入到 iSCSI 产品的开发中 如 Adaptec Qlogic 等等 iSCSI 可以实现在 IP 网络上运行 SCSI 协议 使其能够在诸如高速千兆以太网 上进行路由选择 用户可使用标准的千兆级以太网传输协议 通过 Cat5 线缆和 任意的交换机产品 将服务器与磁盘阵列连接在一起 并且能够提供接近 FC SAN 的性能 iSCSI 集 SCSI 以太网和 TCP IP 等技术于一身 支持 iSCSI 技术的服务器和存 储设备能够直接连接到现有的 IP 交换机和路由器上 具有低廉 开放 大容量 传输速度高 安全等诸多优点 最适合需要在网络上存储和传输大量数据的应 用环境 比如广电视频制作和媒资系统 视频监控系统 IPTV 系统 数据备份 系统 以及许多的对 IOPS 和带宽性能要求不是还很高的数据库存储系统 大容 量文件存储系统 存储系统设计指南 5 SCSI 控制器 控制器是所有存储系统的核心设备 负责数据在主机与磁盘之间的传输 控制 和校验 无论是那种类型的存储设备 存储控制器都可以看成是具有一个数据 IO 功能和 RAID 功能的硬件集合体 RAID 一般有全软 半软半硬和全硬之分 全软 RAID 就是指 RAID 功能是由操作 系统来完成 没有第三方的控制 处理和 I O 芯片 有关 RAID 任务的处理都由 CPU 来完成 因此这是效率最低的一种 RAID 由于全软 RAID 是在操作系统下实 现 RAID 不能保护系统盘 系统分区不能参与实现 RAID 而且一般的 RAID 配 置信息都存在系统信息中 而不是存在数据磁盘中 当系统崩溃需重新安装时 RAID 的信息也会丢失 数据的安全性极低 半软半硬 RAID 是一种把初级的 RAID 功能附加给 SCSI 或者 SATA 卡而产生的产 品 它把软件 RAID 功能集成到了产品的固件上 从而提高了产品的功能和容错 能力 它可以支持 RAID 0 和 RAID 1 RAID 1 0 但因为缺乏自己的 I O 处理 芯片 所以这方面的工作仍要由 CPU 与驱动程序来完成 而且 半软半硬是依 靠主机本身 CPU 和内存运行 所采用的 RAID 控制 处理芯片的能力一般都比较 弱 不能支持高的 RAID 等级 SCSI 存储设备册是一种全硬的 RAID 全面具备了自己的 RAID 控制 处理和 I O 处理芯片 甚至还有阵列缓冲 Array Buffer SCSI 存储设备的控制器 自带有微处理与 I O 处理芯片及内存 不依靠主机 CPU 和内存 可直接把相关 信息提交给 OS 处理 从而使性能获得很大的提高 对 CPU 的占用率以及整体性 能是这三种类型中最有优势的 但设备成本也是三种类型中最高的 一般情况下 SCSI 存储设备只有一个控制器 控制器只提供 2 个 SCSI 主机通 道接口 2 个主机通道接口可同时与 2 个服务器链接 存储设备可提供 LUN 与 主机端口之间的 MAPPING 即主机通过 2 个不同的主机通道接口即可以访问到 相同的 LUN 也可以访问到不同的卷 个别大容量设计的 SCSI SATA 存储设备的控制器上除了 2 个主机通道接口之外 还会提供 2 个磁盘通道 用于链接磁盘扩展柜 请注意 我们常说到 SCSI 接口的带宽是 320MB S SATA 2 接口的带宽是 300MB S 但这些数值都只是接口协议的理论标准设计值 但并不表示磁盘本身 就具有 320MB S 或者 300MB S 的实际带宽输出能力 SCSI 存储设备控制器的实 际访问速度与磁盘型号 磁盘生产的质量控制 技术参数 以及传输电缆长度 抗干扰能力等因素关系密切 实际上 市场常见的 SCSI 存储设备单控制器上的 2 个主机通道接口加起来的总实际输出能力只有 250MB S 左右 而不是 2 320MB S 单块 SCSI 磁盘的实际输出能力为 60 70MB S 而单块 SATA 磁盘的 实际带宽只有 25 30MB S 因此当采用 SCSI 存储设备时 不仅要充分考虑到存 储设备的实际输出带快 还必须配置足够数量的磁盘 存储系统设计指南 6 常见 SCSI 存储技术参数 1 1 3 常见 SCSI 存储设备技术参数 为了更好地了解 SCSI 存储设备的结构以及配置技术参数 我们可以参考大多数 厂商所提供的 SCSI 存储设备的技术参数 如下表 主控单元 控制器 单 SCSI 控制器 2 个 Dual Ultra 320 SCSI 主机通道 中央处理器 PowerPC 750FX 600MHz RISC CPU 外部连接类型 SCSI 320 160 内存 256 1GB 数据重建 自动数据重建 在线扩容 支持 缓存断电保护 72 168 小时 管理 前面板 LCD 和按键 简单的设定 显示状态报告 RS 232 终端 人性化的界面 方便设置和显示状态报告 环境报警 蜂鸣器报警 Email FAX MSN 以太网 SNMP SMS RAID 及硬盘规格 磁盘规格 标准 3 25 36GB 73GB 146GB 300GB SCSI 磁盘 磁盘数量 16 盘位 RAID 级别 0 1 0 1 3 5 30 50 JBOD RAID 设置 最大 8 组 硬件 热插拔电源 2 500W 热插拔电源 热插拔硬盘托架 16 SCA 2 热插拔硬盘 全局热备盘 支持 输入电源 100 240VAC 46 63Hz 热插拔风扇 涡轮风扇 2 操作系统 Windows NT 2000 2003 SUN Solaris 8 9 RedHat Linux 8 9 Enterprise 3 SuSE Linux 8 9 IBM AIX HP UNIX 技术参数表说明 1 SCSI 存储一般都采用单控制器 每个控制器上提供 2 个主机端口 部分 SCSI 存储的控制器上还会提供 2 个磁盘端口 用于连接磁盘扩展柜 2 SCSI 控制器的核心处理芯片 CPU 一般有两种类型 即通用 Inter CPU 和 POWER PC 高档次 SCSI 控制器还会设置一个 ASIC RAID 引擎芯片 两个芯片的 功能分开 CPU 专门负责数据的读写和传输控制 ASIC 芯片专门负责数据校验 和 RAID 校验 在存储界 一直都有 Inter CPU 和 POWER PC 两种核心处理芯片谁更高效的争论 就如同 PC 界 INTER 和 AMD 两者之争一样 但存储设备性能不仅仅取决于控制器 采用哪种芯片 还取决于控制器中核心处理芯片与缓存 总线 主机通道和磁 盘通道等多个部分之间调用和访问机制 因此 存储设备的性能取决于整体结 构的设计是否合理和高效 3 常见的 SCSI 设备默认配置的缓存大小为 256MB 可通道增加缓存条的方式来 增加到 1GB 甚至更大 不过设备的价格也会大幅度提高 当存储设备控制器采 用 RSIC 芯片和 ASIC 芯片是 所使用的缓存不同于普通 PC 上的内存 它是一种 专门与 RSIC 核心处理芯片配合使用的 内存 其成本远高于普通内存 4 在线扩容一般包含三个层次 物理扩容 即热插拔功能 基本上所有的外置硬盘的存储都支持在线扩容 RAID 组扩容 在不删除原有 RAID 组的前提下 通过增加新磁盘来扩展 RAID 组 如将原来由 5 块磁盘组成的 RAID5 扩展到一个由 8 块磁盘构成的 RAID5 逻辑卷 LUN 扩容 在不删除原有 LUN 和 LUN 数据的前提下增加 LUN 的容量 如 将 LUN 的容量由原来的 500GB 扩展到 1TB 5 对存储设备来讲 数据一般都是写入高速缓存 再由缓存写入磁盘 假如存 储外部供电系统系统突然断电时 所有磁盘已经停止工作 而缓存中还有部分 重要的数据没有写入缓存 这时缓存断电系统就可以继续为缓存供电 保证缓 存的数据 72 小时 甚至在更长时间内不会因为断电而造成数据丢失 当外部供 电系统恢复之后 缓存的数据会自动写入磁盘 一般入门级别存储的缓存断电保护系统仅仅就是一个纽扣电池 如同 PC 主板上 的 BIOS 电池一样 大型存储设备往往会采用专用的 UPS 来给缓存长时间供电 6 虽然一个 SCSI 总线最多只能支持 15 块磁盘 但 SCSI 存储设备控制器内部 一般都有两个 SCSI 磁盘通道 每个 SCSI 磁盘通道配置 8 块磁盘 两个 SCSI 磁 盘通道可支持 16 块磁盘 当控制器为 SCSI 时 存储设备只能安装 SCSI 磁盘 不能兼容 SATA 磁盘 当控 制器为 SAS 时 存储设备可同时兼容 SATA 和 SAS 磁盘 7 目前市场上常见的 SCSI 存储设备的接口和对应的 SCSI 线缆都为 SCSI 3 80 针 但在存储系统设计时 一定要充分考虑到系统中的服务器可能还在采用 68 针 SCSI 接口 因为在进行 SCSI 存储的线缆型号配置时 最好能提前了解服务 器的配置 68 针和 80 针 SCSI 接口图如下 图 1 1 1 1 68 针 SCSI 接口 图 1 1 1 2 80 针 SCSI 接口 1 1 4 SCSI 存储的优缺点 SCSI 凭借着扩展性好 性能优越 可靠性高等特点 被广泛应用于高档服务器 和存储设备 采用 SCSI 技术的存储设备同样区有结构简单 性能优越和安全稳 定的特点 SCSI 是一种通用接口 现在越来越多地出现在 PC 服务器上 SCSI 接口正在成 为 PC 服务器的标准接口 目前市场常见的中高档服务器上一般都默认配置 1 2 个 SCSI 接口 SCSI 存储可以很方便地实现与服务器的连接 不需要专门购置 SCSI 卡或 FC 卡等 系统的建设成本进一步降低 在设备连接方面 SCSI 存储系统不需要网络交换机 可直接通过标准的 SCSI 线缆实现与服务器的连接 整体结构简单 环节少 因而系统的故障点也少 相应地 系统的安全稳定性也高 SCSI 存储采用 SCSI 磁盘时 SCSI 硬盘的转速可高达 15000rpm 高转速意味着 硬盘的平均寻道时间短 能够迅速找到需要的磁道和扇区 SCSI 存储的带宽性 能和 IOPS 性能就高 可以满足很多高性能系统的需求 另外 同等容量和转速 的 SCSI 磁盘的价格要远低于 FC 磁盘的价格 采用 SATA 磁盘时 磁盘的大容量 和低价格也可以满足许多地成本系统的要求 同时 SCSI 存储设备的缺点也是显而易见的 首先 SCSI 存储的接口最大数据传输带宽是 320MB S 但这个带宽是所有设备 的共享带宽 而且最大传输速度并不代表设备正常工作时所能达到的平均访问 速度 SCSI 控制器的实际访问速度与 SCSI 硬盘型号 技术参数 以及传输电 缆长度 抗干扰能力等因素关系密切 SCSI 存储的实际往往都在 250 280MB S 之间 其次 SCSI 存储一般对外之提供两个主机接口 即 只能与两台主机设备进行 直连 无法通过网络交换机等设备来进行主机数量扩张 系统的扩张性低 主 机数量增加时就必须的增加更多的 SCSI 存储设备 第三 虽然 SCSI 存储设备支持超过 2 个主机通道和磁盘通道 每个通道支持的 设备最多可达到十五个 但对于目前的存储系统来讲整体容量仍显不足 同时 随着存储通道中设备数量的增加 整体的性能也会大幅度降低 因此 SCSI 存储 的每个通道的实际磁盘数量都不会超过 8 个 存储系统设计指南 7 FC 存储设备 FC 存储设备 在上一节中 采用 SCSI 传输协议和接口协议的设备被称为 SCSI 存储 同样地 采用 FCIP 即光纤通道接口协议的 的设备被称为 FC 存储或光纤通道存储 FC 与 SCSI 一样 都是一种数据传输协议和接口协议 FC 存储和 SAN 是两个完全不同的概念 只不过 FC 存储产品从一开始诞生之日 其就和 SAN 网络紧密地联系在一起 凡是采用 FC 存储的系统都会采用 FC 交换 机组成的 SAN 网络 因此很多人经常会把 FC 存储直接称之为 SAN 存储 就如同 现在很多人把 ISCSI 存储也成为 IP SAN 存储一样 无论怎么样的称呼 我们一 定要清楚地知道 FC 存储这个概念指的是一种存储设备类型 SAN 这个概念指的 是一种网络结构 在大家的印象中 FC 存储一直是高端存储的代名词 它通过高效的光纤通道传 输协议 高效稳定的控制器 和功能丰富强大的数据保护及备份功能 为高端 关键应用业务系统提供数据存储服务 FC 存储之所以能够成为高端实际上是与 其内部结构直接相关的 高效和强大的结构设计决定了 FC 存储的高性能 存储设备是为各种不同的业务系统提高数据存储和读写访问服务的 业务系统 有的要求高 IOPS 性能的 如银行电信在线计费系统的大型数据库存储 有的要 求存储设备可以对外提高大带宽 如广电行业非线性编辑制作系统的在线存储 有的系统要求存储设备具有超大容量 可以满足系统的大容量存储 如视频监 控系统的存储设备 而有的系统要求存储设备具有非常强大的数据备份 远程 容灾功能 如各大数据中心的备份系统和远程容灾系统 存储设备是以满足业务系统的需求为设计目标的 存储设备的设计的方向和实 现的目标不同 其所能使用的业务系统类型也不同 如 EMC Symmetrix 系列 IBM Shark 系列和 HDS USP 系列等存储设备的开发目标是为了实现高 IOPS 性能 因此这些产品使用因银行电信行业的帐 计费等在线关键业务 DDN S2A 的设 计目标是实现稳定的高带宽性能 因此它使用于石油气象行业的大型高性能计 算系统 或广电行业的大型高清和标清非线性编辑制作系统 不同开发目标的 存储产品有着不同的最佳使用环境 凡是能最佳地满足某一类系统的存储需求 就是该类型系统中的高端存储 一般地 大家都是以 IOPS 性能的大小来划分存储设备的档次 I O 性能超过 1000000IOPS 的一般都称为高端存储 高端存储的主机端一般用来连接多 CPU 服务器或小型机 I O 性能小于 1000000IOPS 大于 250000IOPS 的一般都称为 中端存储 中端存储的主机端一般用来连接高性能服务器 I O 性能小于 1000000IOPS 的一般成为低端存储 低端存储的主机端一般连接普通服务器或 工作站 另一种方法是按照存储设备中控制器的数量和冗余结构划分存储档次的 如下 图 图 1 1 1 1 EMC Symmetrix 系列产品内部结构图 从上图可知 随着存储设备的档次越高 控制器数据量越多 结构越复杂 存 储系统的性能 安全性 可扩张性等越高 存储设备的成本也越高 下面几张图是常见高端存储 中端存储内部结构及功能模块图 图 1 1 1 2 EMC Symmetrix 系列产品内部结构图 高端存储为了实现高 IOPS 性能 其内部一般都会配置大容量高速缓存 依靠大 容量缓存来实现大量小数据块 小文件的高速读写 同时前端和后端分别提高 32 个 甚至 64 个以上主机接口和磁盘接口 数据先写入大容量高速缓冲 再 由控制器通过多个磁盘端口并行写入后端高速磁盘 为了保证后端磁盘的数据写入性能 高端存储一般会采用大量高速 15000rpm 的 光纤通道磁盘 存储系统设计指南 8 中端 FC 存储设备 虽然现在很多高端存储都支持 SATA 磁盘 但用高性能的存储设备安装低性能的 SATA 磁盘来做低端应用 将会失去使用高端存储设备的意义 对高端存储设备 来讲也是最大的浪费 因此 笔者强烈不建议高端存储使用 SATA 来用于低端应 用 中端光纤存储设备一般都采用 active active 双活控制器 每个控制器的大多 设置 4 个主机接口 4 个磁盘接口 如下图 图 1 1 1 1 EMC CX 系列产品结构图 上图为 EMC CX700 存储系统的内部结构图 图 1 1 1 2 DDN S2A 系列产品内部结构图 上图为 DDN S2A 系列存储产品的内部结构图 低端存储设备一般都采用单控制器 大多设置 2 个主机接口 2 个磁盘接口 个别的存储设备会采用 4 个主机接口和 4 个磁盘接口 控制器一般为 SATA 控制 器 采用 SATA 硬盘 指南 12 什么是 NAS 网络附加存储 NAS 存储的学名是 Network Attached Storage 意思是网络附加存储 虽然这个 概念描述的很准确 很清楚 但它对于一个初学存储技术 或普通的应用系统 设计者来讲还是有点含混晦涩 那么如何正确地理解 NAS 存储呢 在解释 NAS 存储之前 我们现解释一下什么是文件服务器 假设在一个普通的办公网系统 工作站全部为 windows 操作系统 中 由于工 作的需要 大家可能经常需要共享一部分文档 图片 资料或程序软件 为了 实现共享 一般最简单地做法是找一台相对空闲的服务器或工作站 假设其名 称为 Server A Server A 本身安装了大容量硬盘 可以保存大量的文档或者文 件 将需要共享的资源存储在 server A 的某一个磁盘分区或目录中 如 F 盘或 目录 files 将 F 磁盘分区或目录 files 的属性设置为共享 根据办公网中用 户的角色 职位等设置不同的访问权限 用户可以通过网络邻居找到 Server A 和 Server A 上共享的 F 磁盘分区或目录 files 继而找到所需要的资源 这时我们称 Server A 是这个办公网系统的文件服务器 它可为系统中所有的客 户端工作站提供文件共享访问服务器 通过文件服务器来实现资源共享是一个非常方便 容易实现的方式 不过由于 采用了普通的 windows 操作系统系统和 NTFS 文件系统 Server A 对用户的访 问权限管理 容量配额 数据安全保护功能也处于一个相对简单的阶段 数据 的传输效率也相对较低 我们可以对文件服务器 Server A 进行改造 去除或减少系统中与文件存储 文 件管理无关的组件 功能 服务或软件 加强系统对磁盘 文件系统 数据安 全方面的功能 设置完善的用户访问权限 容量空间配额 增加强大的数据安 全保护功能 如快照 卷复制 卷镜像等功能 增加统一的系统管理 配置和 系统状态监控软件 在硬件方面 采用专业设计的服务器机箱 采用高性能的 CPU 内存和主板 增加冗余电源 冗余风扇等模块化零部件 消除系统的单点故障 增加硬盘数 量 通过 RAID 卡实现硬盘之间的数据容错和访问性能 也可以在文件服务器 Server A 后端直接连接一台 SCSI 存储或 FC 存储设备来增加 Server A 的可用 容量 这个时候的文件服务器就变成了我们常说的 NAS 存储 那么什么是 NAS 存储 简单的说 NAS 存储就是基于专用硬件设备上的 安装特殊操作系统 具有强大 用户访问权限管理功能 数据安全保护和恢复功能的文件服务器 微软推出的 WSS Windows Storage Server NAS 操作系统实际上就是 Windows 2003 操作系统的简化版 去除了很多与数据存储无关的功能 加强了用户访问 权限管理 容量空间配额管理和数据安全保护功能 WSS 可以安装在普通的 PC 服务器上 从而把一个普通的 PC 服务器当成 NAS 设备来使用 但实质上与普通 操作系统并没有较大的区别 我们可以想使用普通 windows 2003 操作系统一样 来使用 WSS 市场上很常见的很多低端 NAS 存储设备都是采用 WSS 操作系统 具有安装 调 试和维护简单 系统结构简单 功能简单和购置成本地等诸多优势 是中小企 业用户系统的首选 NAS 存储设备 当然真正的中高端以上 NAS 存储设备在结构上要比普通的文件服务器要复杂的 多 在软件功能方面也要比普通的文件服务器强大很多 下一节中我们将详细 论述 NAS 服务器的结构和功能 五大要点制定合适的备份策略保证高效备份 备份就像是天气一样常常作为话题被人提起 人人都在讨论备份问题 但和天气不一样的是 天气是我们无力改变的 是晴是雨我们只能看老天爷的 心情如何了 但备份上面的很多问题是可以通过备份管理员的努力来解决的 数据保护是企业的一项要务 这不仅仅是为了保证业务连续性 也是为了 法规遵从和企业决策的需要 呵呵 笔者这里提到的法规遵从似乎还很遥远 现在国内的大多数企业目前还没有相关的法规要求必须保留某些财务数据 但 一些重要的决策支持数据 例如财务记录 是必须要保留的 笔者曾经亲眼看见过某省市某通信公司全部帐务信息所在的磁盘系统在一 段时间内坏了硬盘若干 用备份数据恢复时 发现备份方案错误少备了某关键 数据 无法恢复 最后用 oracle 工具配合磁盘修复工具来恢复数据 大部分数 据都恢复过来了 但最后仍然差了一天的业务数据 企业在信息系统中会遇到各种各样的问题 备份过程中遇到的困难未必是 最难缠的一个 但它也不一定是一个容易解决的问题 下面我们将就备份中容 易发生的各种问题来看看 如何选择合适的备份方式 制定备份策略 以及从 管理员那里收集反馈等等 这些方法可以帮助企业更好的完成备份工作 并且 精简备份过程 备份策略对于企业来说比较复杂 备份策略 指的是控制真正备份工作 的规则 一般都是由软件中的 策略管理 来实现的 程序是来设置策略的手 段 企业在确定备份策略的时候需要考虑 一 备份周期 指的是两次备份之间的时间间隔 对于企业来说 并不是 备份越频繁越好 过于频繁的备份会对前段业务造成较大的影响 且备份管理 员会发现后台备份数据量急剧增大到无法忍受的地步 对于企业来说 根据不同的数据类型和安全级别要求设置不同的备份周期 是比较实际的 对于一些业务关键型数据 企业至少要做到 1 天备份一次 否 则无法承担数据丢失的风险 而另外一部重要性偏低的数据 例如邮件系统 可以选择较为宽松的备份周期 如 3 天一次 或者一周一次 我们在这里并没有讨论也业务连续性的需要 仅靠备份无法实现业务连续 性 但是现在很多备份软件都带有 CDP 功能 已经在一定的程度上能起到即时 恢复的作用 能在一定程度上实现业务连续性 二 备份方式 设置备份周期的同时需要考虑的问题包括采用何种备份方式 三种较有代表性的备份方式包括完全备份 增量备份和差分备份 这三种备份 方式各有优缺点 完全备份方式指的每次备份都备份全部的数据 这种备份方式逻辑简单 恢复速度快 但是需要占用大量的备份容量空间和备份时间 增量备份方式则是每次备份与上次备份数据不同的差异数据 这种备份方 式不需要每次备份全部的数据 因此大幅度减少了每次备份的时间和备份的存 储容量空间 但是由于备份数据都是在上一次备份数据的基础上记录数据发生 的改变 一旦发生故障后 数据恢复得时候需要一环扣一环的进行运算恢复 所需要的数据恢复速度比较慢 而且一旦一个环节发生错误 容易导致整个备 份无效 差分备份方式则是 当管理员进行过一次完全备份后 接下来的每次差分 备份 系统都会把备份数据与第一次完全备份的数据进行比对 只备份与第一 次完全备份数据有差异的数据 首先 它无须每天都进行系统完全备份 因此 备份所需时间短 并且也节省了备份介质的空间 其次 它的恢复过程也很方 便 只需要上一次完全备份的数据和最后一次差异备份的数据 就可将系统恢 复 所以 差分备份是一种相对优化的备份策略 适合于对备份性能有较高要 求 又需充分考虑成本的企业和用户 在具体选择备份方式的时候 需要考虑的因素包括 能够承受多大的备份 容量 能够忍受备份系统工作时给前段运营带来多大的影响 事故发生后 企 业允许的数据恢复时间有多长 一般情况下 企业会综合把几个备份方式整合使用 例如完全备份和差异 备份经常组合成为一个完整的备份方案 每天进行差异备份 定期做完全备份 这样恢复的时候 系统管理员只需两份磁带数据 即第一天的磁带以及灾难发 生前一天的磁带 就能够完全恢复数据 对于小型企业 可以几天内作一次完 全备份 对于大型企业 由于完全备份的数据量过于庞大 通常 1 3 个月作一 次完全备份 三 自动 手动备份 考虑选择自动或者手动备份操作的原则很简单 自动备份 无需人为操作 系统可按预先设定好的程序和时间自动启动备份作业 手动备 份由系统管理员不定时地进行人工操作 前者适合大型系统的备份任务 然而 部署成本较高 后者虽然部署成本相对较低 但后期的操作将变的复杂 这里需要强调的是 很多中小型企业考虑成本因素通常会选择手动操作 但实际情况是手动操作大大的增加了备份过程中因人为错误而导致的损失 研究显示人为错误是排在媒介错误之后 导致备份失败的第二大原因 但 实际上大部分的媒介出错也是由于人为因素造成的 因此在设定备份系统的初 期 存储系统规划人员必须向业务人员详细征询意见 毕竟这些数据的使用者 仍然是这些业务系统的人员 他们的意见能有效防止无效备份的情况出现 四 备份介质 备份介质是系统数据进行存储或备份的存储载体 考虑备 份介质需要考虑三方面的指标 1 备份的成本 2 备份对前端业务的影响 3 恢复的速度 一般而言 磁盘作为备份介质有备份速度快 对前端业务影响较 小 恢复速度快的优点 但同时也带来高昂的备份成本 除磁盘以外 还有磁带 光盘等等更为便宜的备份介质 一般如果不要求 7 24 小时业务连续运营 企业可以采用磁带作为备份介质 选择在夜晚业务不 太繁忙或者停顿的时候进行备份操作 这样尽管备份时仍然占用较大的系统资 源 但对前端业务影响已经非常小了 同时 有一些企业会采用不同的备份介质来平衡成本和性能的需求 例如 关键业务数据先备份到 SATA 磁盘上 再通过磁盘备份到磁带设备 这就是我们 所说的多级备份机制 五 保证良好的一致性 所谓备份一致性是指整个组织中以同样的方法一致地处理所有的备份和恢 复 对于小企业来说 无非是一个磁带机支持一个备份服务器 这种情况下 备份一致性并不是需要强调的优点 而是最基本的特点 现在 已经有越来越多的企业需要备份一个以上的系统 要做到一致性可 不像以前 一个大磁带支持一个大机器 的时代那样容易了 当今世界瞬息万 变 企业组织结构变化也会对备份系统产生影响 厂商所鼓吹的类似信息周期 管理这种新概念也会要求有复杂的备份系统 还有 SATA 这种便宜的近线存储介 质的出现 都会导致一些分散的备份系统的出现 虽然统一的备份是大势所趋 但企业里面不可避免会存在多个备份系统 这时候系统管理员的工作就是让大家保持步调一致 如果不能在整个组织中以 同样的方法一致地处理所有的备份和恢复 那么备份就会变得更加难以下手 而且当我们需要使用这些备份的时候 会发现我们面对的是一团乱麻 毫无头 绪 NBU网络备份大全之远程配置备份策略 随着 NBU 用户的增多 用户所遇到的问题也就会随之增多 当用户遇到问题的 时候 就是需要存储工程师出马的时候了 然而 用户可能远在外地 或者工 程师正在家中休息 我们只能远程访问其网络 在远程访问的网络流量不够理 想的情况下 通过图形界面访问 NBU 并且控制它是一件非常痛苦的事情 本系列文章为了解决上述问题 将介绍一下通过文本界面控制 NBU 的方法 包括存储硬件的配置 NBU 卷和存储单元的配置 NBU 备份策略的配置与管理 NBU 运行作业 希望能够帮助用户在网络情况差的情况下也可以方便的配置管 理 NBU 本文将讲述的是利用 bpadm 来配置存储单元的配置和备份策略 配置存储单元 Bpadm 是 NBU 提供的文本配置工具 在 usr openv netbackup bin 目录下 用户可以使用它来管理磁带 配置备份存储单元和备份策略 还可以执行备份 策略 如图一所示 本文使用 NBU6 0MP4 为例 图一 bpadm 启动界面 启动 bpadm 工具之后 我们需要先创建存储单元 将需要保护的数据放到 其中 故在此选择 s Storage Unit Management 进入存储单元界面 如图二 所示 图二 设置存储单元 由图二可知 利用该工具可以添加 修改和删除存储单元 浏览可以在图 二的上端滚动显示已有的存储单元 用户可以选定存储单元后修改其属性 在 这里还有一个选项 o Output Destination 可以将显示结果打印到文件中去 在这里 我们选择 a Add Storage Unit 去添加一个新的存储单元 在添加新的存储单元的时候 首先需要知名存储单元的名称 然后指明存 储单元是在磁盘还是磁带上 如果选择磁盘 那么需要指明是标准磁盘还是 NearStore SnapVault 这种备份类型 指明磁盘所在的主机名和其相应的路径 等 其他的选项使用默认值即可 见图三 如果用户选择的是磁带类型存储 单元 那么需要知名带库所连接的主机 带库的类型和机械手编号 再选择好 磁带的类型 其他的配置属性选择默认即可 见图四 如果用户想要知道存储单元配置属性的具体信息 请参加前作 图形配 置存储单元 图三 添加磁盘类型存储单元 图四 添加磁带类型存储单元 配置备份策略 在添加了存储单元之后 我们需要添加备份策略 将客户端的数据保存到 存储单元中 因此 我们在图一所示界面中 选择 p Policy Management 见图五 图五 添加备份策略 由图五可知 添加备份策略的界面和添加存储单元是相似的 也有添加 删除 修改备份策略的选项 但是因为备份策略包括了属性 客户端列表 备 份文件和日程表等选项 用户可以只针对其中的某一项进行修改 此外 在该 菜单中 还有 catalog 备份恢复的选项 在这里 我们选择 a 见图六所示 图六 新建备份策略 在图六所示图中 用户在输入备份策略名之后 可以根据所列出的选项修 改备份策略的属性 包括指定存储单元 是否加密 是否跨过挂载点等等 用 户需要选择需要修改的配置 然后根据提示操作即可 用户添加了备份策略之后 就可以通过浏览选项 b 或者 r 去找到对 应的备份策略 再选择