数据中心新技术介绍

数 据 中 心 新 技 术 介 绍 数 据 中 心 拓 展 部 ： 王 宏 伟2010年 8月 1 关于 Server-to-network edge 的故事n 未 来 几 年 ， 数 据 中 心 的 新 技 术 都 将 发 生 在 Server-to-network edge；n FCOE、 CNA、 CEE、 EVB， 都 是 Server-to-network edge的 故 事 ；n 数 据 中 心 以 太 网 络 三 个 技 术 方 向 ： 融 合 、 IO虚 拟 化 、 40G/100GServer-to-netwokr edge 2 虚拟化： 服务器虚拟化 EVB融合架构： CEE FCoE 3 概述 虚拟化的定义虚 拟 化 是 资 源 的 逻 辑 表 示 ， 它 不 受 物 理 限 制 的 约 束 引 自 IBM 虚 拟 化 与 云 计 算 n “ 虚 拟 化 ” 的 定 义 包 含 了 三 层 含 义 ：n 虚 拟 化 的 对 象 是 各 种 各 样 的 资 源 ；n 经 过 虚 拟 化 后 的 逻 辑 资 源 对 用 户 隐 藏 了 不 必 要 的 细 节 ；n 用 户 可 以 在 虚 拟 环 境 中 实 现 其 真 实 环 境 的 部 分 或 全 部 功 能 ;n “ 虚 拟 化 ” 的 两 种 形 式 ： N:1 虚 拟 化 1:N 虚 拟 化 4 概述 包罗万象的虚拟化虚 拟 化服 务 器 虚 拟 化 存 储 虚 拟 化桌 面 虚 拟 化软 件 虚 拟 化 网 络 虚 拟 化n 服 务 器 虚 拟 化 ： 使 用 虚 拟 化 软 件 在 一 台 物 理 服 务 器 上 运 行 多 个 操 作 系 统 ； n 网 络 虚 拟 化 ： 将 网 络 的 硬 件 和 软 件 进 行 整 合 ， 想 用 户 提 供 虚 拟 网 络 连 接 的 技 术 ，VLAN / VPN / VRF / IRF / VDC等 ， 后 面 将 详 细 讨 论 ；n 存 储 虚 拟 化 ： 为 物 理 存 储 设 备 提 供 一 个 抽 象 逻 辑 视 图 ， 用 户 通 过 这 个 统 一 的 逻 辑 接 口来 访 问 被 整 合 的 存 储 资 源 ， RAID / NAS / SAN。n 软 件 虚 拟 化 ： 应 用 虚 拟 化 、 高 级 语 言 虚 拟 化 （ JAVA/JRE） ；n 桌 面 虚 拟 化 ： 将 个 人 桌 面 环 境 保 存 在 远 端 服 务 器 上 ， 终 端 与 桌 面 解 除 耦 合 ； 5 虚拟化： 服务器虚拟化 EVB融合架构： CEE FCoE 6 服务器虚拟化的基本概念 虚 拟 化 前 :每 台 主 机 一 个 操 作 系 统 ；软 件 硬 件 紧 密 地 结 合 ；在 同 一 主 机 上 运 行 多 个 应 用 程 序 通 常 会遭 遇 沖 突 ；系 统 的 资 源 利 用 率 低 ；硬 件 成 本 高 昂 而 且 不 够 灵 活 ； 虚 拟 化 后 :解 除 了 操 作 系 统 和 服 务 器 硬 件 的 互 相 依 赖 ；每 个 虚 拟 机 （ 逻 辑 服 务 器 ） 被 封 装 成 一 个 大文 件 ， 可 拷 贝 /克 隆 ；个 系 统 间 逻 辑 隔 离 ， 故 障 隔 离 ；虚 拟 机 独 立 于 硬 件 , 可 在 其 他 服 务 器 上 运 行 ；借 助 虚 拟 化 软 件 在 一 台 物 理 服 务 器 上 运 行 多 个 操 作 系 统 ； 7 服务器虚拟化的两个术语n 在 虚 拟 化 中 有 两 个 常 用 的 术 语 ： Virtual Machine 、 virtual machine monitorn Virtual Machine（ VM） 是 指 运 行 在 Hypervisor之 上 ， 拥 有 CPU、 IO、 内 存 等 虚 拟硬 件 资 源 并 可 支 撑 操 作 系 统 运 行 的 一 个 完 整 的 系 统 平 台 。n virtual machine monitor（ VMM） 或 叫 做 Hypervisor， 是 支 持 虚 拟 机 运 行 的 软 件平 台 ， 负 责 虚 拟 机 （ VM） 的 托 管 和 管 理 ， 它 直 接 运 行 在 服 务 器 硬 件 上 ， 因 此 其 实 现直 接 受 底 层 体 系 机 构 的 约 束 。n VMM， 有 两 种 典 型 的 实 现 ：n 主 机 实 现 方 案 （ hosted） ， 也 叫 做 主 机 虚 拟 化 ， 实 现 ： VMware Server (GSX)、 VMware Workstation、 VMware FusionMicrosoft Virtual PC 、 Microsoft Virtual Servern 裸 金 属 实 现 方 案 （ bare-metal ） ,也 叫 做 裸 金 属 虚 拟 化 ， 实 现 ：VMware ESX ServerCitrix XenServerMicrosoft Hyper-V 当 前 市 场 上 的 主 流 产 品 8 服务器虚拟化的典型实现 nVMM 作 为 一 个 应 用 程 序 运 行 在 通 用 操 作系 统 之 上 ， 操 作 系 统 管 理 资 源 。n多 个 虚 拟 机 的 OS间 相 互 独 立 ， 一 个 虚 拟机 宕 机 不 影 响 其 他 虚 拟 机 。n操 作 系 统 支 持 的 硬 件 ， 虚 拟 机 就 能 支 持 。n性 能 低 。 nVMM 负 责 硬 件 资 源 的 管 理 。nVM应 用 层 、 VM内 核 、 Hypervisor处 于 不同 的 CPU特 权 等 级n多 个 虚 拟 机 的 OS间 相 互 独 立 ， 一 个 虚 拟机 宕 机 不 影 响 其 他 虚 拟 机 。n处 理 性 能 高 ， 接 近 非 虚 拟 化 运 行 模 式 ；VMM（ 虚 拟 化 软 件 ）Application ApplicationOS OS 一个虚拟机一个虚拟机 主机虚拟化的结构 Application ApplicationVMM（ 虚 拟 化 软 件 ）OS OS一个虚拟机 一个虚拟机裸金属虚拟化的结构 9 CPU演进：单核双核四核八核 双 核 四 核四 核 八 核 n 每 核 运 行 1.5个 虚 拟 机 （ 该 比 例 是 Intel提 出 的 虚 拟 机 SLA限 制 条 件 ， 即 运 行 于 满 负 载 机 器之 上 的 所 有 作 业 的 完 成 时 间 不 应 超 过 其 在 空 载 机 器 上 单 个 VM 中 运 行 所 需 时 间 的 1.4 倍 ） ；n 装 备 1个 8核 CPU的 服 务 器 可 运 行 12个 虚 拟 机 10 动 态 迁 移运 行 中 的 VM可 实 现 动 态 迁 移 到 不同 物 理 及 的 虚 拟 平 台 上分 区在 单 一 物 理 服 务 器 上 同 时 运 行多 个 虚 拟 机 隔 离在 同 一 服 务 器 上 的 虚 拟 机 之 间相 互 隔 离封 装整 个 虚 拟 机 都 保 存 在 文 件 中 ， 而 且可 以 通 过 移 动 和 复 制 这 些 文 件 的 方式 来 移 动 和 复 制 该 虚 拟 机服务器虚拟化的关键特性 11 虚 拟 层虚 拟交 换 机CPU虚 拟 化内 存虚 拟 化存 储 资 源虚 拟 化传 统 数 据 中 心 视 图 虚 拟 架 构 视 图Operating SystemExchangeOperating System虚 拟 化 层Operating SystemVPNOperating System 虚 拟 化 层 Operating SystemFile/PrintOperating System虚 拟 化 层Operating SystemCRMOperating System 虚 拟 化 层 服务器虚拟化的对传统IT架构的改变 12 虚 拟 化 层虚 拟交 换 机CPU虚 拟 化内 存虚 拟 化存 储 资 源虚 拟 化服务器虚拟化的对传统IT架构的改变 13 服务器虚拟化的关键特性 动态迁移SAN、 iSCSI或 NASn 动 态 迁 移 可 在 X86架 构 的 VMWARE ESX上 实 现 ， 也 可 以 在 IBM P6 小 型 机 上 实 现 ；n 在 不 中 断 服 务 的 情 况 下 ， 将 VM迁 移 到 其 他 的 物 理 服 务 器 上 ；n 可 用 在 灾 备 、 资 源 调 整 、 服 务 器 维 护 等 场 合 ；n 实 现 迁 移 的 服 务 器 必 须 在 一 个 二 层 网 络 内 ， VM的 GW在 相 同 设 备 上 ； 14 Intel Core Microarchitecture Enhanced Intel Core Microarchitecture Next Generation Intel MicroarchitectureXeon7500Xeon 5400Xeon 3300 FutureFutureFutureXeon 5300Xeon 7300Xeon 320065nm 45nm High-K2006-2007 2007-2008 2008-2010Dual Core 5100Dual Core 7200 Dual Core 3000 Intel VT FlexMigration Increased VM Mobility with VMwareFail-Over防 故 障Load Balance负 载 分 担Disaster Recovery容 灾Server Maintenance服 务 器 维 护 VM VM Intel CPU 对虚拟机 VMotion 特性的支持 借 助 intel VT Flexmirgration 和 vmware ESX的 VMotion， 先 前 在 各 代 服 务 器间 实 时 迁 移 虚 拟 机 的 障 碍 已 得 到 解 决 。 15 IBM P6/P7 CPU 支持“分区实时迁移” IBM System p 系 统 的 动 态 分 区 迁 移 技 术 ， 允 许 将 正 在 运 行 的 生 产 应 用 程 序 从 一 个 物 理服 务 器 移 动 到 另 一 个 物 理 服 务 器 动 态 分 区 迁 移 有 助 于 实 现 连 续 的 可 用 性 目 标 ：n通 过 动 态 地 将 应 用 程 序 从 一 个 服 务 器 移 动 到 另 一 个 服 务 器 ， 减 少 计 划 停 机 时 间 。n通 过 允 许 您 将 工 作 负 载 从 负 载 较 重 的 服 务 器 移 动 到 具 有 空 闲 容 量 的 服 务 器 ， 可 以 应对 不 断 变 化 的 工 作 负 载 和 业 务 需 求 。n通 过 允 许 您 简 单 地 整 合 工 作 负 载 ， 并 关 闭 不 使 用 的 服 务 器 ， 减 少 能 量 的 消 耗 。IBM P6/P7 CPU都 支持 “ 分 区 实 时 迁 移 ” ，类 似 与 VMWARE 的VMotion。“分 区 实 时 迁 移 ” 需 要服 务 器 部 署 在 同 一 个二 层 网 络 中 。 16 虚拟化： 服务器虚拟化 EVB融合架构： CEE FCoE 17 物 理 网 卡 虚 拟 交 换 机 VSwitch虚 拟 化 之 后 的 服 务 器虚 拟 网 卡 虚 拟 网 卡 虚 拟 网 卡虚 拟 交 换 机虚 拟 化Server虚 拟 机 1 虚 拟 机 2 虚 拟 机 3 虚 拟 机 4虚 拟网 卡 虚 拟网 卡虚 拟网 卡虚 拟网 卡核 心 层汇 聚 层接 入 层 接 入 层 服务器虚拟化带来网络接入层的变化 18 传统的VSwitch的问题 1 管理边界问题 物 理 网 卡 虚 拟 交 换 机 VSwitch虚 拟 化 之 后 的 服 务 器虚 拟 网 卡 虚 拟 网 卡 虚 拟 网 卡虚 拟 服 务器 边 界物 理 服 务器 边 界二 层 网络 边 界这 部 分 由 服 务 器 管 理 员 负 责 运 维 。这 部 分 由 网 络 管 理 员 负 责 运 维 。 这 部 分 由 谁 负 责 运 维 ？ 物 理 服 务 器 中 的 逻 辑 网 络 由 谁 管 ？ 相 似 的 情 况 ： 刀 片 服 务 器 中 的 交 换 机模 块 由 谁 管 ？ Server-to-network edge 是 当 前 数据 中 心 技 术 发 展 的 热 点 ， 融 合 、 IO/虚 拟 化 是 热 点 的 两 个 主 题 ； 其 实 ， EVB / FCOE / CEE ， 都 是 在讨 论 边 界 上 的 技 术 问 题 ； 19 传统的VSwitch的问题 2 VM流量监管问题 物 理 网 卡 VSwitch虚 拟 化 之 后 的 服 务 器虚 拟 网 卡 虚 拟 网 卡 虚 拟 网 卡n从 虚 拟 机 到 物 理 服 务 器 之 外 的 流 量 可 以 通过 交 换 机 镜 像 、 网 流 分 析 设 备 进 行 监 控 ；n虚 拟 机 之 间 的 流 量 无 法 进 行 监 控 ；n也 有 将 虚 拟 交 换 机 软 件 进 行 改 进 ， 以 实 现流 量 监 控 或 镜 像 的 方 式 ， 但 这 种 方 式 需 要消 耗 过 多 的 CPU资 源 。可 监 控 的 服 务 器 流 量不 可 监 控 的 服 务 器 流 量 20 物 理 网 卡 VSwitch虚 拟 化 之 后 的 服 务 器虚 拟 网 卡 虚 拟 网 卡 虚 拟 网 卡 传统的VSwitch的问题 3 服务器访问控制n数 据 中 心 服 务 器 之 间 采 用 了 矩 阵 式的 访 问 控 制 策 略 。n不 同 的 虚 拟 机 之 间 需 要 通 过 ACL实现 访 问 控 制 ；n传 统 的 VSwitch 实 现 ACL需 要 消 耗CPU资 源 ， 对 服 务 器 性 能 有 影 响 ；n安 全 策 略 与 VM的 迁 移 紧 绑 定 问 题 需解 决 ； 21 EVB实现虚拟机的边缘接入控制Virtual Ethernet Bridge(VEB) Virtual Ethernet Port Aggregation (VEPA)也 称 Basic VEPA Multichannel Remote ReplicationMAC+VID to steer frames MAC+VID to steer frames uses tag for remote ports uses tag to replicate packets 仿 真 802.1桥 功 能已 有 实 现(vSwitch, SR-IOV bridge)与 现 有 网 络 可 配 合 运 行无 需 修 改 当 前 报 文 格 式有 限 的 可 视 性 (不 易 管 理 )有 限 的 网 络 功 能本 地 转 发 性 能 较 强Legacy, pervasive 修 改 802.1桥 功 能与 现 有 大 部 分 交 换 可 配 合 运 行Hairpin方 式不 修 改 现 有 报 文 格 式 Full bridge visibility Access to bridge features Constrained performance Leverages VEB resources 利 用 Provider Bridge802.1Qbc功 能类 似 远 端 业 务 接 口 Remote Service Interface使 用 现 有 报 文 格 式 (S-tags).创 建 桥 虚 拟 端 口定 义 受 控 SComponent组 件 Access to bridge features Adjacent bridge multicastreplication (性 能 有 限 ) 扩 展 Multichannel可 外 部 级 联定 义 新 的 tag format Defines new name space 22 HP/3COM 802.1Qbg 的解决方案 MAC/PHY虚 拟 化 之 后 的 服 务 器虚 拟 网 卡 虚 拟 网 卡 虚 拟 网 卡VMMVM1 VM2 VM3VEPA以 太 网 交 换 机Virtual Ether Port Aggragation 方 案 ：n 现 在 的 交 换 机 只 要 稍 做 驱 动 修 改 就 可 支 持 这 种模 式 ； 原 来 的 VSwitch变 成 了 VEPA， 但 还 是CPU处 理 ， 性 能 有 一 定 限 制 ；n 在 物 理 网 络 上 实 现 了 流 控 和 安 全 控 制 ；n 物 理 服 务 器 边 界 也 是 网 管 边 界 ；实 现 流 量 监 控 、安 全 控 制物 理 服 务器 边 界 虚 拟 化 之 后 的 服 务 器虚 拟 网 卡 虚 拟 网 卡 虚 拟 网 卡VMMVM1 VM2 VM3以 太 网 交 换 机 实 现 流 量 监 控 、 安 全 控 制物 理 服 务器 边 界 虚 拟 网 卡VM3VSwitchVEPA多 通 道 标 签 处 理 模 块MAC/PHY多 通 道 标 签 处 理 模 块Mutil-Channel 方 案 ：n 可 同 时 支 持 软 /硬 VSwitch、 VEPA，n 需 要 升 级 网 卡 和 接 入 层 交 换 机 支 持 Q-IN-Q；n 在 物 理 网 络 上 实 现 了 流 控 和 安 全 控 制n 物 理 服 务 器 边 界 也 是 网 管 边 界 ；物 理 网 卡物 理 网 卡 23 CISCO 的 802.1Qbh 解决方案虚 拟 化 之 后 的 服 务 器虚 拟 网 卡 虚 拟 网 卡 虚 拟 网 卡VMMVM1 VM2 VM3 以 太网 交换 机实 现 流 量 监 控 、安 全 控 制 虚 拟 网 卡VM3VSwitchVEPAM标 签 处 理 模 块 （ 标 签 复 制 ）MAC/PHY M标 签 处 理 模 块M标 签 处 理 模 块 （ 标 签 复 制 ） 非 虚 拟 化的 服 务 器MAC/PHY物 理 网 卡物 理 网 卡 操 作系 统 非 虚 拟 化的 服 务 器MAC/PHY物 理 网 卡 端 口 扩 展 FEXn为 解 决 多 通 道 技 术 多 播 转 发 的 复 杂 性 ， 提出 了 端 口 扩 展 技 术 ；n端 口 扩 展 技 术 实 现 了 M部 件 ， 专 用 于 对 多播 报 文 进 行 转 发 ； M部 件 增 加 对 多 播 tag的 添 加 和 删 除 ； 操 作系 统 24 两个标准草案的比较n 802.1Qbg： 目 标 是 定 义 EVB的 基 本 功 能 ；VEPA及 其 multi-channel是 由 HP、 3COM、 IBM、 Broadcom、 Qlogic、emulex等 公 司 支 持 发 起 确 定 的 IEEE标 准 ， 将 2011年 初 成 为 正 式 标 准 ；协 议 定 义 了 虚 拟 机 VMM以 及 交 换 机 对 来 自 VM的 报 文 的 处 理 方 式 ， 将 VM的流 量 牵 引 到 交 换 机 上 做 转 发 、 监 管 、 安 全 控 制 ， 然 后 在 送 回 到 VM。该 协 议 明 确 了 服 务 器 管 理 边 界 、 网 络 管 理 边 界 。n 802.1Qbh： 目 标 是 定 义 端 口 扩 展 ；CISCO主 导 的 802.1Qbh， 预 计 在 2012年 成 为 正 式 标 准 ； 该 协 议 定 义 了 新 的 以 太 网 报 文 格 式 （ 增 加 了 M-TAG） ， 一 组 M-tag代 表 一组 端 口 ， 用 于 远 端 的 部 件 进 行 报 文 的 复 制 （ 多 播 ） 。n 这 两 个 标 准 不 冲 突 ， Qbg实 现 VM之 间 交 换 的 基 本 功 能 ， 可 以 借 助Qbh提 高 多 播 的 处 理 性 能 ； Qbh可 以 单 独 实 现 ， 但 对 硬 件 有 特 殊 要 求 ； 25 虚拟化： 服务器虚拟化 EVB融合架构： CEE FCoE 26 传统数据中心基础网络的挑战HPC LAN SAN 传 统 数 据 中 心 网 络 的 问 题 ：n 分 离 的 多 套 网 络n 服 务 器 多 IO接 口n 多 套 机 房 布 线 以 太 网高 性 能 计 算 网存 储 网 27 发展趋势IO 整合操 作 系 统I/O I/O I/O I/O I/O I/OLAN TCP/UDP/IP SANiSCSCI-TCPSCSCI-FC HPCRDMAiWARP以 太 网 以 太 网FC 以 太 网InfinibandLAN应 用 存 储应 用 HPC应 用 操 作 系 统LANTCP/UDP/IP SANiSCSCI-TCPSCSCI-FC HPCRDMAiWARP增 强 以 太 网LAN应 用 存 储应 用 HPC应 用增 强 以 太 网FC HBANICFC HBANIC FC流 量FC流 量Enet流 量Enet流 量 CNA FC流 量 和Enet流 量CNA FC流 量 和Enet流 量 CAN： Converged Network Adapter 28 IO 整合带来的收益 简化管理、节能、降成本LAN SAN A SAN B LAN SAN A SAN BEthernetFCCEEn FIP（ FCoE Initialization Protocol ） 协 议 报 文 ， 用 于 发 现支 持 FCOE的 VLAN， 建 立 和 维 护 FCoE虚 链 路 的 协 议 。Ethtype = 0 x8906 ; Fiber Channel PayloadEthernet Header FCoE Header FC Header CRC EOF FCS普 通 以 太 帧 ， 12字 节 (MAC)+4字 节 (vlan tag)FCOE报 头 ， 16字 节原 有 的 FC报 头 ， 24字 节FC报 文 最 多 2112字 节 4字 节 4字 节4字 节 48 FC-BB-5（FCOE）标准中的一些术语n VN_PORT： Virtual N_Port， 物 理 N_PORT可 以 实现 多 实 例 ， 每 个 实 例 即 VN_PORT；n VF_PORT： Virtual F_Port;n VE_PORT： Virtual E_Port;n FCOE_LEP： 实 现 FC报 文 到 FCOE报 文 的 封 装 、 解 封 装 、 FCOE报 文 发 送 、 接 收的 组 件 ；n FCOE_Controler： 实 现 FIP协 议 的 组 件 ； 49 FCOE 架构模型 nENode是 服 务 器 CNA的 实 现 模 型 ， FCF（ FCOE Forwarder） 是 FC Switch的 实 现 模 型 ；n在 FC中 ， 两 个 FC设 备 间 是 点 对 点 连 接 ， 而 在 Ethernet网 络 中 ， 两 台 FC设 备 可 以 通 过 广 播 链 路连 接 。 FCOE用 虚 链 路 代 替 FC网 络 的 物 理 链 路 ；nFCOE的 虚 链 路 通 过 链 路 两 端 FCOE_LEP (Link End-Point) 的 MAC地 址 进 行 标 识 ； 50 FCOE 报文的寻址和转发过程n 存 储 阵 列 上 的 FC N_Port发 送 出 FC帧 ， 其 目 的 地 址 为 1.1.1， 源 地 址 为 7.1.1。 n Domain ID为 7的 FC交 换 机 收 到 报 文 后 ， 查 表 ， 将 其 转 发 到 路 径 最 短 的 端 口 ；n Domain ID为 3的 FCOE交 换 机 收 到 报 文 后 ， 发 现 该 报 文 需 要 通 过 以 太 网 络 传 送 ， 便 将 FC报 文 封 装 在 以太 报 文 中 ， 该 以 太 报 文 的 目 的 MAC地 址 B（ 接 收 方 交 换 机 的 FCoE实 体 的 MAC地 址 ） ， 源 MAC地 址 A（ 发 送 方 交 换 机 的 FCoE实 体 的 MAC地 址 ） ；n FCoE报 文 到 达 FCoE实 体 的 MAC地 址 为 B的 交 换 机 后 ， 交 换 机 检 查 FC报 文 中 的 D_ID在 自 身 的 Domain范 围 内 ， 使 用 新 的 目 的 MAC地 址 C（ 主 机 的 MAC地 址 ） 和 新 的 源 MAC地 址 B对 报 文 进 行 重 新 封 装 ， 并从 相 应 的 端 口 发 送 ；n MAC地 址 为 C的 CNA收 到 FCoE报 文 ；n MAC地 址 是 逐 跳 变 化 的 ， FCID是 端 到 端 的 ； 51 FCoE网络组成与需求 Server ServerServer ServerEthernet Traffic Fibre Channel Traffic Fibre Channel SwitchFCoE Switch (FCF) FCoE Switch (FCF)Transit Switch角 色 功 能 描 述 特 性 要 求 Transit Switch 10GE以 太 网 交 换 机 ；透 明 的 转 发 以 太 网 报 文 ， 并 保 证 FCoE报 文无 丢 包 。FIP Snooping （ 增 强 安 全 性 ） CEE Priority-based Flow Control (PFC) 802.1QbbEnhanced Transmission Selection (ETS) 802.1QazData Center Bridging Exchange (DCBX) Protocol 802.1QazFuture： Congestion Notification 802.1Qau n 接 入 层 交 换 机 支 持 CEE特 性 （ 如 PFC） ，保 障 FCOE报 文 不 丢 包 ；n FCOE报 文 从 服 务 器 CNA网 卡 发 出 ， 在 接入 交 换 机 上 终 结 ； n 从 服 务 器 CNA发 出 的 非 FCOE报 文 ， 在 接入 交 换 机 上 按 正 常 报 文 转 发 ；n 接 入 交 换 机 上 的 FCOE代 理 模 块 对 ENODE发 起 的 FIP、 FLOGI和 FCOE数 据 报 文 做 相 应的 处 理 ； 接 入 层 交 换 机 53 接入交换机上的VLAN 划分 CNA Ethernet Fabric FC Fabric ENODE L2 SW NPV NP_PORTFIP VLAN (UNTAG)SAN VLAN (TAG)DATA VLAN (TAG) ETH 1/0/1 Eth 1/0/10 Eth 1/0/10 ETH 1/0/1 SERVERCNAL2 SW NPV FIP VLAN (UNTAG)SAN VLAN (TAG)DATA VLAN (TAG) Eth 1/0/10 ETH 1/0/1 SERVERCNA 要 求 Server侧 网 卡 提 前 配 置 好 LAN VLAN id， 并 支 持 LAN数 据 流 量 携 带 VLAN TAG进 行 发 送 ；可 采 用 以 服 务 器 接 入 端 口 缺 省 PVID为 Sever的 LAN id的 方 案 。 由于 FIP VLAN Discovery报 文 也 属 UNTAG， 为 实 现 数 据 报 文 与 协议 报 文 的 分 离 ， 可 将 FIP VLAN部 署 到 protocol-vlan中 。 54 H3C S5820X LSW1FC4P0 接口卡介绍n LSW1FC4P0接 口 卡 提 供 4个 SFP+端 口 ， 可 以 支 持 10G SFP+模 块 和 8/4/2G FC模 块 。 接 口 卡 支 持 完 整 的 FCoE协 议 栈 和 必 须 的 FC协 议 栈 。n S5820X系 列 万 兆 以 太 网 交 换 机 +LSW1FC4P0接 口 卡 ， 可 以 帮 助 用 户 实 现 简单 的 和 低 成 本 的 接 口 融 合 。n 服 务 器 不 需 要 同 时 配 置 以 太 网 网 络 接 口 卡 （ NIC） 和 光 纤 通 道 主 机 总 线 适 配 器(HBA)， 只 需 要 配 置 一 个 统 一 网 络 接 口 (CNA)， 即 可 同 时 接 入 以 太 网 网 络 （ LAN）和 存 储 区 域 网 络 （ SAN） 。 55 FCOE方案实现的三阶段 NPIV FCF on Top of Rack FCF on Chassis (DC wide FCOE) LAN FC-SANCEE NPIV LAN FC-SANFCOE/FCF LAN FC-SANFCOE/FCF 杭 州 华 三 通 信 技 术 有 限 公 司