存储系统概述.ppt

存储系统概述 存储系统概述 了解存储技术的发展 现状和趋势了解基本存储介质以及硬盘的知识熟悉常用RAID级别原理与特点熟悉SAN网络基础知识 目标 什么是存储 用于存放数据信息的设备和介质存储是一个系统是计算机技术发展的结果 存储对企业的影响和价值 德州大学报告显示 灾难性数据丢失导致公司倒闭 一 存储介质与存储系统 信息存储介质信息存储系统 存储介质 硬盘 磁带 光盘 硬盘 是电脑主要的存储媒介之一 由一个或者多个铝制或者玻璃制的碟片组成磁带 是一种用于记录声音 图像 数字或其他信号的载有磁层的带状材料 是产量最大和用途最广的一种磁记录材料光盘 光盘以光信息做为存储物的载体Flash存储 一种不挥发的内存器件 软盘 Flash存储 存储设备 磁带库 虚拟磁带库 磁带机 存储系统 硬盘的组件 主控芯片 高速缓存芯片 数据传输芯片 硬盘的柱面 磁面 磁道与扇区 磁面 磁道 扇区 柱面 硬盘的分类 按照接口类型按照硬盘形态机械硬盘固态硬盘 硬盘接口 IDE ATA SATA FC SAS SCSI 市场主流硬盘 目前市场上主流硬盘厂商包括Seagate 希捷 WD 西部数据 HITACHI 日立 等 硬盘接口比较 VS SSD硬盘 读写机制决定读写效率 SSD在随机读取方面的效率要比硬盘驱动器高得多 无寻道到时间和旋转延迟 适合smallblocksize读写 硬盘寻道机制 容量硬盘容量 柱面数 磁头数 扇区数 512Bytes转速盘片转动圈数 分钟 rpm 平均访问时间 平均寻道时间 平均潜伏时间数据传输率外部数据传输率内部数据传输率 磁头读取盘片 硬盘缓存 目录 信息存储介质信息存储系统 存储系统产生的背景 传统计算机存储系统的局限性 硬盘成为整个系统的性能瓶颈有限的硬盘槽位 难满足大容量需求单个硬盘存放数据 数据可靠性难以保证存储空间利用率低本地存储 数据分散 难以共享可扩展性不够总线结构 而非网络结构可连接的设备受到限制增加容量时 需停机 CPU 硬盘 传统计算机存储系统 RAM 存储设备的组成 硬件组成一般包括 框控制器BBU风扇电源接口卡另 硬盘 硬盘框 存储设备的架构 硬件组成一般包括 前端 高速缓存 后端 磁盘 主机操作系统 windows操作系统 Windows2003 windows2008 linux操作系统 Suselinux9 10 11 Redhatlinux4 5 6 Vmwareesx Esx4 5 aix aix4 5 6 solaris Solaris9 10 hp ux hp ux11 主机文件系统 Windows下常见的文件系统 FAT32 NTFSLinux下常见的文件系统 ext3 jfs Reiserfs xfs其它文件系统 ZFS HFS VMFS UFS GFS RAID基本概念与技术原理RAID技术与应用RAID特点及不同场景下应用RAID与LUN 二 RAID技术 RAID概念与实现方式 RAID RedundantArrayofIndependentDisks 独立冗余磁盘阵列 简称磁盘阵列 RAID是按照一定的形式和方案组织起来的存储设备 它比单个存储设备在速度 稳定性和存储能力上都有很大提高 并且具备一定的数据安全保护能力 RAID 更有效的数据组织 条带 并行 数据安全保护功能 校验 热备 RAID的主要实现方式分为硬件RAID方式和软件RAID方式硬件RAID 利用集成了处理器的硬件RAID适配卡来对RAID任务进行处理 无须占用主机CPU资源 软RAID 通过软件技术实现 需要操作系统支持 一般不能对系统磁盘实现RAID功能 RAID的数据组织方式 D7 D4 D1 驱动器2 D6 D3 D0 驱动器1 D8 D5 D2 驱动器3 条带2 strip 条带1 strip 条带0 strip 磁盘上的数据分块 磁盘上的数据分块 磁盘上的数据分块 分块 将一个分区分成多个大小相等的 地址相邻的块 这些块称为分块 它是组成条带的元素 条带 Striping 同一磁盘阵列中的多个磁盘驱动器上的相同位置构成条带 提高同时读写性能 分条深度 RAID数据保护机制 热备 热备 HotSpare 当冗余的RAID阵列中某个磁盘失效时 在不干扰当前RAID系统正常使用的情况下 用RAID系统中另外一个正常的备用磁盘顶替失效磁盘 热备通过配置热备盘实现 热备盘分为全局热备盘和局部热备盘 RAID数据保护机制 重构 重构 镜像阵列或者RAID阵列中发生故障的磁盘上的所有用户数据和校验数据的重新构建 rebuild 过程 或者将这些数据写到一个或者多个备用磁盘上的过程 D5 D3 D1 驱动器2 D4 D2 D0 校验驱动器 D0 D1 D2 D3 D4 D5 P3 P2 P1 热备盘驱动器 D0 D2 D4 驱动器1 RAID的几种状态 目录 RAID基本概念与技术原理RAID技术与应用RAID特点及不同场景下应用RAID与LUN 常用RAID级别与分类标准 RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘 提高了硬盘的读写性能和数据安全性 根据不同的组合方式可以分为不同的RAID级别 RAID0实现方式 D4 D2 D0 驱动器1 D6 D5 D3 D1 驱动器2 D0 D1 D2 D3 D4 D5 条带2 条带1 条带0 各磁盘上的数据块 各磁盘上的数据块 无差错控制的条带化阵列 D2 D1 D0 D5 D4 D3 D0 逻辑磁盘 RAID0数据写入 D0 D1 D2 D3 D4 D5 逻辑磁盘 写入数据块D0 写入数据块D1 写入数据块D2 D3 驱动器1 驱动器2 D0 D1 D2 D3 D4 D5 RAID0数据读取 读取数据块D1 逻辑磁盘 驱动器1 驱动器2 D0 D1 D2 D3 D4 D5 D0 D2 D4 D5 D3 D1 读取数据块D2 D3 读取数据块D0 RAID0数据丢失 驱动器1 驱动器3 D0 D1 D2 D3 D4 D5 D6 D7 D8 阵列中某一个驱动器发生故障 将导致其中的数据丢失 RAID1的工作原理 镜像结构的阵列 D2 D1 D0 D2 逻辑磁盘 D2 D1 D0 驱动器1 驱动器2 D0 D1 D2经过镜像器 D2 D1 D0 RAID1数据写入 驱动器2 D0 D1 D2 D2 D1 D0 写入数据块D0 D2 D1 D0 D2 逻辑磁盘 驱动器1 D2 D1 D0 写入数据块D1 写入数据块D2 RAID1数据读取 驱动器2 D0 D1 D2 D2 D1 D0 读取数据块D0 D2 D1 D0 D2 逻辑磁盘 驱动器1 D2 D1 D0 读取数据块D1 读取数据块D2 RAID1的数据恢复 驱动器2 D0 D1 D2 D2 D1 D0 磁盘损坏 读写备份磁盘 更换 恢复磁盘 复制备份磁盘数据 D0 驱动器1 D1 D2 RAID5的工作原理 分布式奇偶校验码的独立磁盘结构 D4 P1 D1 驱动器2 P2 D2 D0 驱动器1 D5 D3 P0 驱动器3 D0 D1 D2 D3 D4 D5 RAID5数据写入 D2 D1 D0 D5 D4 D3 逻辑磁盘 D0 D1 D2 D3 D4 D5 D5 D3 P0 驱动器3 P2 D2 D0 驱动器1 D4 P1 D1 驱动器2 RAID5数据读取 D2 D1 D0 D5 D4 D3 逻辑磁盘 D0 D1 D2 D3 D4 D5 D5 D3 P0 驱动器3 P2 D2 D0 驱动器1 D4 P1 D1 驱动器2 RAID5数据恢复 D2 D1 D0 D5 D4 D3 逻辑磁盘 D0 D1 D2 D3 D4 D5 D5 D3 P0 驱动器3 P2 D2 D0 D4 P1 D1 磁盘失效 数据恢复 驱动器2 驱动器1 RAID组合 RAID10 RAID10是将镜像和条带进行组合的RAID级别 先进行RAID1镜像然后再做RAID0 RAID10也是一种应用比较广泛的RAID级别 D0 D2 D4 D0 D2 D4 D1 D3 D5 D1 D3 D5 磁盘镜像器 磁盘镜像器 D0 D1 D2 D3 D4 D5 读取数据 RAID1 RAID1 RAID0 物理磁盘1 物理磁盘2 物理磁盘3 物理磁盘4 目录 RAID基本概念与技术原理RAID技术与应用RAID特点及不同场景下应用RAID与LUN 常用RAID级别的比较 RAID典型应用场景 目录 RAID基本概念与技术原理RAID技术与应用RAID特点及不同场景下应用RAID与LUN RAID级别选择 从可靠性 性能和成本简单比较各RAID级别的优劣 相对而言 供在实际项目中选择时参考 LUN Logicalunitnumber RAID由几个硬盘组成 从整体上看相当于有多个硬盘组成的一个大的物理卷在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元 这些逻辑单元称作LUN 可以做为映射给主机的基本块设备 RAID10 RAID5 物理卷 物理卷 逻辑卷 逻辑卷 单个物理卷上创建1个逻辑卷 单个物理卷上创建2个逻辑卷 LUN2 LUN3 三 存储网络 存储网络的产生与发展存储系统技术FC SAN技术IP SAN技术FC SAN与IP SAN融合NAS技术主机多路径技术FC交换机 HBA卡 光纤 存储网络出现与发展 存储网络形态 存储网络几种常见类型DAS DirectAttachedStorage NAS NetworkAttachedStorage SAN StorageAreaNetwork 目录 存储网络的产生与发展存储系统技术FC SAN技术IP SAN技术FC SAN与IP SAN融合NAS技术主机多路径技术FC交换机 HBA卡 光纤 存储系统基本组成 存储软件存储管理软件快照 镜像软件License备份软件 存储硬件外置存储系统磁盘阵列NAS存储连接设备FCHBA卡FC交换机以太网交换机连接线缆 存储方案备份 容灾 StorageAreaNetwork SAN存储区域网络 存在于主机和存储设备之间 与DAS相比打破了主机和存储设备之间的紧耦合 提升了系统的扩展性 SANProtocols FiberChannelSAN 基于FC协议IPSAN 在IP网络上运行SCSI协议 目录 存储网络的产生与发展存储系统技术FC SAN技术IP SAN技术FC SAN与IP SAN融合NAS技术主机多路径技术FC交换机 HBA卡 光纤 FC协议简介 FC 0 物理层 定制了不同介质 传输距离 信号机制标准 也定义了光纤和铜线接口以及电缆指标 FC 1 定义编码和解码的标准 FC 2 定义了帧 流控制 和服务质量等 FC 3 定义了常用服务 如数据加密和压缩 FC协议 FC 4 协议映射层 定义了光纤通道和上层应用之间的接口 上层应用比如 串行SCSI协议 HBA的驱动提供了FC 4的接口函数 FC 4支持多协议 如 FCP SCSI FC IP FC VI FC交换机相关概念 光纤通道交换机 它使用光纤网络路由直接连接的方式 发起者和目标设备可以通过光纤通道交换机中的路由软件建立直接的连接以独享光纤的所有带宽 与以太网交换机相比 一个用于构建光纤网络 一个用于构建以太网络 光纤交换机中使用的是FC协议 以太网交换机使用的是TCP IP协议 光纤通道交换机 FC交换机 MDS 9148 WWN WWNN WorldWideNodeName 全球惟一节点名字 由光纤通道进行映射的分配给每一个上层节点一个全球惟一的64位标识符 一个HBA上的所有端口共享一个WWNN 在计算机处理中 一个WWNN被分配给一个接入到光纤网中的节点 一个端点 如 一个设备 WWNN可以被一个或者多个不同的端口 每个端口拥有不同的WWPN 并且属于同一个节点 共同使用 WWPN WorldWidePortName 全球惟一端口名字 分配给每一个光纤通道端口的全球惟一的64位标示符 每个WWPN被该端口独享 WWPN在存储区域网络中的应用就等同于MAC地址在以太网协议中的应用 链接 输入 输出 P2PFC ALFC SW WWPN WWNN FC网络 HBA卡 HBA HostBusAdapter 主机总线适配器 就是连接主机I O总线和计算机内存系统的I O适配器 HBA分为FCHBA SCSIHBA SASHBA iSCSIHBA等 用途 用于服务器 海量存储子网络 外设间通过集线器 交换机和点对点连接进行双向 串行数据通讯 EMULXBROCADEQLOGIC 各类HBA卡 WWNN和WWPN HBAWWN FC交换机端口 节点 N Port F Port F Port E Port E Port 节点 N Port FC交换机2 FC交换机 N Port Fabric上的末端端口 与FC交换机连接的主机端口 F Port 与N端口连接的交换机端口 E Port FC交换机之间连接的端口 FC SAN典型组网 FC SAN典型组网方式有以下几种 应用服务器 光纤卡 存储设备 应用服务器 应用服务器 应用服务器 应用服务器 光纤交换机 光纤交换机 光纤交换机 存储设备 存储设备 直连 单交换 双交换 FC SAN的组件 服务器 FCHBA接口卡 存储设备 LAN 用户A 用户B 服务器 FCHBA接口卡 存储设备 光纤通道光纤网络 FC拓扑结构与应用 点对点 只能连接2个设备 直接连接 交换式Fabric 最多支持1千6百万个设备 光纤通道交换机 ArbitratedLoop 仲裁环 最多支持127个设备 光纤集线器 普及 FC与SCSI协议 FC与SCSI协议的关系FC通道并不是SCSI的替代 FC可以通过构建帧来传输SCSI的指令 数据和状态信息单元 SCSI是位于光纤通道协议栈FC4的上层协议 SCSI是FC协议的子集 目录 存储网络的产生与发展存储系统技术FC SAN技术IP SAN技术FC SAN与IP SAN融合NAS技术主机多路径技术FC交换机 HBA卡 光纤 IP SAN典型组网 IP SAN典型的组网方式有以下几种 应用服务器 以太网卡 存储设备 应用服务器 应用服务器 应用服务器 以太网交换机 存储设备 存储设备 直连 单交换 双交换 以太网交换机 应用服务器 以太网交换机 iSCSI连接方式 硬件TOE网卡 initiator软件方式 以太网卡 Initiator软件方式 iSCSIHBA卡实现方式 IP SAN根据主机与存储的连接方式不同 可以分为三种 IQN iSCSIQualifiedName IQN 格式 iqn yyyy mm reverseddomainname Example Iqn 1992 emc cx fcntr00130702376 a4 EUI ExtendedUniqueIdentifier EUI 格式 eui e g eui 02004567A425678D 目录 存储网络的产生与发展存储系统技术FC SAN技术IP SAN技术FC SAN与IP SAN融合NAS技术主机多路径技术FC交换机 HBA卡 光纤 FC SAN与IP SAN比较 FCoE连接方式 ConvergedNetworkAdapter CNA 聚合网卡 FCoE网络架构 FCoE典型的组网方式有以下几种 应用服务器 以太网卡 存储设备 应用服务器 应用服务器 应用服务器 增强型以太网交换机 存储设备 存储设备 直连 单交换 双交换 增强型以太网交换机 应用服务器 增强型以太网交换机 FC SAN与IP SAN融合 协议融合 目前FC与TCP IP协议的真正融合主要有两种趋势 TCP IP网络承载FC信道iFCPFCIPFCOE以FC信道承载TCP IP数据IPFC 目录 存储网络的产生与发展存储系统技术FC SAN技术IP SAN技术FC SAN与IP SAN融合NAS技术主机多路径技术FC交换机 HBA卡 光纤 NAS的产生与发展 非结构化数据的需求共享的需求成本的需求扩展性的需求支持协议的需求支持业务类型的需求 随机高并发小IO Linux Unix用户 Windows用户 文件服务器 应用服务器 NAS存储设备 TCP IP网络 NFS协议 CIFS协议 NAS的硬件结构 处理器 内存 网络接口 磁盘阵列接口 FC PCI总线 NAS控制器 存储子系统 NAS设备 客户机 客户机 100 1000 10000Mb s NAS文件传输协议 CIFS或NFS协议 NAS设备 TCP IP微内核操作系统 CIFS或NFS协议 CIFS或NFS协议 NAS与SAN比较 目录 存储网络的产生与发展存储系统技术FC SAN技术IP SAN技术FC SAN与IP SAN融合NAS技术主机多路径技术FC交换机 HBA卡 光纤 FC SAN典型组网 FC SAN典型组网方式有以下几种 应用服务器 光纤卡 存储设备 应用服务器 应用服务器 应用服务器 应用服务器 光纤交换机 光纤交换机 光纤交换机 存储设备 存储设备 直连 单交换 双交换 多路径的可靠性 没有多路径软件会有以下问题存在的 混淆 操作系统看到几倍真实数量的磁盘没有冗余 没有多路径切换软件 操作系统将不知道何时它该使用多余的路径危险 多路径导致操作系统认为看到的多份磁盘是独立的 这将导致数据毁坏或IO错误 左图中没有使用多路径 右图为使用多路径后 LUN 虚拟LUN 多路径驱动 磁盘驱动 多路径failover技术 A控制器 LUN2 LUN1 HBA1 HBA2 LUN3 LUN3 B控制器 存储设备 Failover功能 Failover功能当主路径出现故障后自动将业务路径切换到备用路径上 避免了因单点故障而造成的业务中断 物理路径 I O路径 多路径failback技术 Failback功能当主路径的故障解除或修复后自动的将I O传输路径从从路径切换回主路径上 A控制器 LUN2 LUN1 HBA1 HBA2 LUN3 LUN3 B控制器 存储设备 Failback功能 物理路径 I O路径