XX市教育城域网——三通两平台规划设计方案建议书-9.9

上传人:gbs****77 文档编号:13023243 上传时间:2020-06-05 格式:DOC 页数:68 大小:12.22MB
返回 下载 相关 举报
XX市教育城域网——三通两平台规划设计方案建议书-9.9_第1页
第1页 / 共68页
XX市教育城域网——三通两平台规划设计方案建议书-9.9_第2页
第2页 / 共68页
XX市教育城域网——三通两平台规划设计方案建议书-9.9_第3页
第3页 / 共68页
点击查看更多>>
资源描述
XX 市教育城域网及资源中心规划方案 1 杭州华三通信技术有限公司 XX 市教育城域网 三通两平台整体方案规划 二 O 一三年九月 XX 市教育城域网及资源中心规划方案 2 杭州华三通信技术有限公司 目 录 第 1 章 现状及需求分析 4 1 1 项目建设背景 4 1 2 应用发展规划 4 1 2 1 专递课堂 4 1 2 2 名师课堂 5 1 2 3 网络协作教研 5 1 2 4 资源类应用 6 1 2 5 互动教学 6 1 2 6 教育管理平台 6 1 3 建设内容 6 1 3 1 三通两平台一中心 6 第 2 章 城域网及资源中心方案整体设计 10 2 1 设计原则与思路 10 2 2 整体解决方案 12 第 3 章 功能分市详细设计 14 3 1 云数据中心 资源中心设计 14 3 1 1 云平台数据中心建设目标 14 3 1 2 数据中心云平台设计原则 16 3 1 3 数据中心云平台总体设计 17 3 1 4 云平台基础承载设计 20 3 1 5 云平台计算资源池设计 25 3 1 6 存储设计 28 3 1 7 虚拟化平台设计 30 3 1 8 云平台系统设计 36 3 2 云通道建设 城域网 校校通方案 44 3 2 1 需求分析 44 3 2 2 链路选择 44 3 2 3 方案设计 45 3 3 云接入建设 班班通方案 52 3 3 1 需求分析 52 3 3 2 网络方案设计 53 XX 市教育城域网及资源中心规划方案 3 杭州华三通信技术有限公司 3 3 3 身份认证方案设计 55 3 4 云管理规划 整网运维方案 58 3 4 1 系统安全管理 58 3 4 2 资源管理 59 3 4 3 拓扑管理 61 3 4 4 故障 告警 事件 管理 64 3 4 5 告警深度关联分析与统计 65 3 4 6 性能管理 70 3 4 7 设备管理组件 73 第 4 章 方案报价 75 第 5 章 案例参考 75 5 1 无锡教育云 75 XX 市教育城域网及资源中心规划方案 4 杭州华三通信技术有限公司 第 1 章 现状及需求分析 1 1 项目建设背景 上世纪九十年代以来 通过一系列重大工程和政策措施 我市的教育信息化发展奠定了一定 的基础 随着教育模式的改革和新技术的不断涌现 信息化教学的应用不断拓展和深入 教学资 源不断丰富 教育信息化在促进教育公平 提高教育质量 创新教育模式领域的支撑和带动作用 初步显现 教育规划纲要 明确提出了信息化目标 即建成人人可享有优质教育资源的信息化学习环 境 基本形成学习型社会的信息化支撑服务体系 基本实现所有地市和各级各类学校宽带网络的 全面覆盖 教育管理信息化水平显著提高 信息技术与教育融合发展的水平显著提升 1 2 应用发展规划 应用发展是十二五期间信息化建设的关键内容 建设与教学融合的应用体系是应用规划的目 标 结合目前国内外的先进经验 我市拟规划以下应用内容 1 2 1 专递课堂 同步课堂 同步课堂基于 XX 市电教馆资源中心提供的机构空间 学校空间 教师空间进行 1 个播出 教室和 1 5 个接收教室构成一个虚拟课堂 教育局在其空间内 利用同步课堂组织管理工具 统 一组织播出学校和接收学校 统一安排虚拟课堂课表 并组织教学 播出学校和接收学校也可自 行配对 在其空间内向教育局提出申请 XX 市教育城域网及资源中心规划方案 5 杭州华三通信技术有限公司 推送资源 市资源中心根据教师需求情况将支持课堂教学的优质资源包推送到教师空间 帮助教师备课 上课 进行教学评价 教师在教学活动中生成的资源可以提供到国家数字教育资源公共服务平台 上进行共享 探究性学习 市资源中心通过推送探究性学习工具和资源 提供智能导航帮助教师开展探究式 讨论式 参与式教学 帮助学生增强运用信息技术分析解决问题的能力 学会学习 帮助教师运用探究学 习模式开展日常学科教学 学生也可利用相应工具自行组织探究性学习 1 2 2 名师课堂 名师讲堂 名师讲堂模式主要用于名师讲解学科重点难点 帮助学生更好地达成学习目标 讲授内容以 各学科和专业课程章节重难点和期末总结为主 名师导学 名师导学模式通过将教师课堂讲授与智能学习系统 名师 的诊断与导学相结合 实现 差异化教学和个性化指导 提高学生学习能力 1 2 3 网络协作教研 跨校网络协作教研 跨区域网络协作教研模式是利用国家数字教育资源公共服务平台提供的虚拟教研社市功能 组织不同市域教师开展协作教研活动 实现交流学习 优势互补 共同提高 名师工作室 XX 市教育城域网及资源中心规划方案 6 杭州华三通信技术有限公司 名师工作室模式用于有组织地开放以特级教师和学科骨干教师本人命名的教师空间 为广大 教师有针对性的选择与自己教育教学相关的专家或专家团队进行持续的教学科研提供服务 1 2 4 资源类应用 在市资源中心以自建 学校提供 企业提供等多种方式将传统知识点和学习内容电子化 以 趣味 生动的方式呈现 提高学生学习兴趣和理解能力 1 2 5 互动教学 在教学过程中融入互动的体验 远程学习 名师讲堂类 时学生与老师远程互动 教学过程 中与家长互动等 1 2 6 教育管理平台 将传统的 OA 办公 学籍管理 考勤系统 考核系统 行政办公系统 E Mail 等管理类系统 统一为教育门户 提供一体化的教育管理工作平台 1 3 建设内容 1 3 1 三通两平台一中心 两个平台 一个中心 所有的应用规划从对象角度来市分可以分为两大平台 一个是教学资源公共服务平台 一个 是教育管理公共服务平台 两平台均以应用软件方式呈现 需要一个统一的硬件数据中心来承载 所以建设的首要内容就是 两个平台 一个中心 XX 市教育城域网及资源中心规划方案 7 杭州华三通信技术有限公司 资源到校 校校通 两大平台的内容统称为 资源 资源市内学校共享的财富 实现共享的手段就是将资源送 到学校 也就是通过网络实现学校与教育局资源中心的连接 也即传统校校通的建设部分 XX 市教育城域网及资源中心规划方案 8 杭州华三通信技术有限公司 资源到班级 班班通 让学生在教室就能使用优质的教学资源 实现与远程名师的在线互动 就是资源到班级的建 设内容 包括多媒体教室 无线网络覆盖班级实现班班通 资源到个人 人人通 学生放学后依然能使用教学资源 老师在家 出差时期也能便捷使用备课系统 家长辅导学 生等应用场景的实现 就是建设人人通空间 学生 家长 老师都能随时随地访问的内容 XX 市教育城域网及资源中心规划方案 9 杭州华三通信技术有限公司 第 2 章 城域网及资源中心方案整体设计 2 1 设计原则与思路 城域网及资源中心的建设原则是能够高效 安全 绿色的支撑应用系统的使用 相比传统城 域网建设 体现在几个层面的变化 1 数据中心的形成 相比传统服务器部署而言 资源中心的建设要求有统一的数据中心来承载两大平台的运 行 2 虚拟化的使用 为了整合资源中心的硬件资源 会大量使用虚拟化技术来建设弹性的资源池 3 应用类型对网络带宽的消耗 应用的规划以动画 视频 互动等大流量应用为主 相比传统网络带宽要求提升 10 20 倍 XX 市教育城域网及资源中心规划方案 10 杭州华三通信技术有限公司 4 用户规模的剧增 资源的使用者增加了学生 相比传统只有老师使用的环境 用户规模增加了 10 20 倍 5 流量模型的变化 用户的访问模型以学校访问资源中心的流量为主 基本上为纵向流量 6 允许断网时间的变化 教学系统上网意味着对网络可靠性的要求提高 允许断网时间应该控制在分钟级别 所以在城域网和资源中心的设计上需要遵循以下原则 高性能 骨干网络性能是整个网络良好运行的基础 设计中必须保障网络及设备的高吞吐 能力 保证各种信息 视频 动画 的高质量传输 才能使网络不成为业务开展的瓶颈 高可靠性 网络系统的稳定可靠是应用系统正常运行的关键保证 在网络设计中选用高可 靠性网络产品 设备充分考虑冗余 容错能力 合理设计网络架构 制订可靠的网络备份策略 保证网络具有故障自愈的能力 最大限度地支持系统的正常运行 网络设备在出现故障时应便于 诊断和排除 充分体现计算机网络的高可靠性 安全性 制订统一的网络安全策略 整体考虑网络平台的安全性 保证师生能够安全 绿 色的使用资源 独立性 学校与教育局之间采用公网连接会导致一些应用系统的不可用 比如名师讲堂 双向教学等 而且公网连接也使得网络不安全 不可控等隐患 所以教育局与学校之间应该采 用裸光纤或者 VPN 方式连接 技术先进性和实用性 在保证满足校园业务 应用系统业务的同时 要体现出网络系统的 先进性 在网络设计中要把先进的技术与现有的成熟技术和标准结合起来 充分考虑网络应用的 现状和未来发展趋势 标准开放性 支持国际上通用的网络协议 路由协议等开放的协议标准 有利于保证与其 它网络 如中国教育网 公共数据网 学校之间等其它网络 之间的平滑连接互通 以及将来网络 的扩展 XX 市教育城域网及资源中心规划方案 11 杭州华三通信技术有限公司 灵活性及可扩展性 根据未来业务的增长和变化 网络可以平滑地扩充和升级 最大程度 的减少对网络架构和现有设备的调整 可管理性 对网络实行集中监测 分权管理 并统一分配带宽资源 选用先进的网络管理 平台 具有对设备 端口等的管理 流量统计分析 及可提供故障自动报警 强 QOS 强组播特性 城域网因为对视频 音频等多媒体业务的需求较大 所以整个网 络具有较完善的 QOS 特性对教育网而言就显得尤为重要 能不能对关键业务进行带宽优先保证 尤其是那些对时延敏感的业务进行保证是教育网必须考虑的一个重点 为实现市别服务 整网端 到端的 QOS 特性机制是优质网络业务的保证 另外组播特性对于有效的保证多媒体流传输性能 和节省带宽也有非常重要的意义 基于组播的控制特性也会进一步保证组播流的控制 管理和安 全 从而为实现教育城域网的多业务支持提供保障 兼容性和经济性 兼容性 能够最大限度地保证学校现有各种计算机软 硬件资源的可用 性和连续性 为不同的现存网络提供互联和升级的手段 如现有的双向教学系统 保证各种在 用计算机系统 包括工作站 服务器和微机等设备 的互连入网 充分利用现有网络资源 发挥 主干网的优势 经济性 就是在充分利用现有资源的情况下 最大限度地降低网络系统的总体投 资 有计划 有步骤地实施 在保证网络整体性能的前提下 充分利用现有设备或做必要的升级 2 2 整体解决方案 XX 市教育城域网的整体网络拓扑如下图所示 XX 市教育城域网及资源中心规划方案 12 杭州华三通信技术有限公司 临 汾 市 教 育 城 域 网 规 划 拓 扑 Interne H3C AS CI CVMH3C iMC管 理 中 心 支 持 云 计 算 虚 拟 化 实 现 班 班 通 人 人 通 通 过 云 解 决 方 案 实 现校 校 通 图 例40G电 缆10G电 缆 10G光 纤1电 缆 市 云 数 据 中 心 虚 拟 机 1虚 拟 机 2虚 拟 机 3操 作 系 统业 务 系 统 操 作 系 统业 务 系 统 操 作 系 统业 务 系 统 H3C 5730服 务 器 集 群H3C FlexServerR590 t 整个网络分为接入层 学校 核心层 管理中心 电教馆办公网 城域网资源中心以及网 络出口等 6 个模块 接入层 在接入层 每个学校的出口采用一台 SR MSR 路由器作为出口网关 通过运营商分配的专 用线路连接到市教育局的网络核心 核心层 在核心层采用两台 H3C S10508 核心交换机 通过 IRF2 技术虚拟成一台 以保证网络核心 的可靠性 同时成倍提升网络性能 核心交换机上除了提供连接各功能区所必须的以太网接口外 还部署防火墙 IPS 流量分析等多种业务插卡 为整个教育城域网提供安全保障 XX 市教育城域网及资源中心规划方案 13 杭州华三通信技术有限公司 管理中心 管理中心作为整个教育城域网的总指挥部 部署网络管理系统 安全管理系统 虚拟化管理 平台等管理系统 以便于管理人员对整个城域网进行统一规划和管理 电教馆办公网 电教馆办公网作为城域网的一个单位接入城域网核心 同样考虑到安全性和可管理性 建议 所有办公网络汇聚到一个节点与核心交换机互联 通过核心交换机部署安全设备保证网络的安全 性 资源服务区 在资源服务区 通过虚拟化技术建立计算资源池和存储资源池 为教育资源平台动态分配硬 件资源 从而提高硬件资源的可靠性和可扩展性 资源服务市通过若干台 依据具体服务器数量 而定 数据中心级接入交换机与城域网核心相连 构成教育资源平台和各个教育单位数据互通的 通道 出口区 整个教育城域网将拥有两个网络出口 一个连接到教育城域网中心 一个连接到互联网 作 为整个教育城域网公网出口 第 3 章 功能分区详细设计 3 1 云数据中心 资源中心设计 3 1 1 云平台数据中心建设目标 XX 市城域网数据中心是数据大集中而形成的集成 IT 应用环境 它是各种 IT 业务和应用服 务的提供中心 是数据运算 交换 存储的中心 实现对用户的数据 应用程序 物理构架的全面 XX 市教育城域网及资源中心规划方案 14 杭州华三通信技术有限公司 或部分进行整合和集中管理 数据中心的建设中 存储系统的建设和完善贯穿始终 这和当前应 用系统建设的重点是相一致的 不论是各种数字资源 还是需要备份保存的业务数据 其中心内 容都是对于信息 数据 的管理和使用 本方案将云数据中心 IT基础设施 的 按需使用 以及 自动化管理和调度 作为云计算 的实践 形成可落地实施的 可持续发展的云计算平台 即IaaS云计算平台 为XX市旗下中小学 提供服务集中以及按需使用服务 简化各个学校的IT管理 实现XX市教育资源的统一整合与管理 作为教育云计算实践 云计算数据中心的建设建议达到以下目标 通过标准化 虚拟化的资源池部署 提高整体IT基础设施资源利用率 实现IT基础设施资源的自助化服务 按需申请 按需供给 实现面向最终用户的云服务模式 实现IT基础设施资源的自动化部署及流程化管理 并可利用云计算管理平台对资源进行可视 全面的监 管 控 简化日常运维的管理流程 降低维护成本 XX 市教育城域网及资源中心规划方案 15 杭州华三通信技术有限公司 在实现可落地的云实践的基础上 保留未来向更高层次的云计算实践发展的可能 如SaaS和 PaaS相关应用等 3 1 2 数据中心云平台设计原则 1 兼容与互通 当前阶段云计算整个产业化还不够成熟 相关标准还不完善 为保证多厂商的良好兼容性 避免厂商技术锁定 方案的设计充分保证与第三方厂商设备保持良好的对接 此外 为保证方案 的前瞻性 设备的选型应充分考虑对已有的云计算相关标准 如 EVB 802 1Qbg 等 的扩展支持 能力 保证良好的先进性 以适应未来的技术发展 2 业务高可用 云计算平台作为承载未来教育城域网以及各个校园应用的重要 IT 基础设施 伴随着数据与业 务的集中 云计算平台的建设及运维给信息部门带来了巨大的压力 因此平台的建设从基础资源 池 计算 存储 网络 虚拟化平台 云平台等多个层面充分考虑业务的高可用 基础单元出 现故障后业务应用能够迅速进行切换与迁移 用户无感知 保证业务的连续性 3 统一管理与自动化 云计算的最终目标是要实现系统的按需运营 多种服务的开通 而这依赖于对计算 存储 网络资源的调度和分配 同时提供用户管理 组织管理 工作流管理 自助 Protal 界面等 从用 户资源的申请 审批到分配部署的智能化 管理系统不仅要实现对传统的物理资源和新的虚拟资 源进行管理 还要从全局而非割裂地管理资源 因此统一管理与自动化将成为必然趋势 4 开放接口 XX 市教育城域网及资源中心规划方案 16 杭州华三通信技术有限公司 传统的管理系统与上层系统对接 注重故障的上报和信息的查询 而云计算的管理系统更关 注如何实现自动化的部署 在接口方面更关注资源调度和分配 这就需要管理系统在业务调度方 面实现开放 为保证服务器 存储 网络等资源能够被云计算运营平台良好的调度与管理 要求 系统提供开放的 API 接口 云计算运营管理平台能够通过 API 接口 命令行脚本实现对设备的配 置与策略下发联动 同时云平台也提供开放的 API 接口 未来可以基于这些接口进行二次定制开 放 将云管理平台与教育城域网应用相融合 实现面向云计算的教育应用管理平台 3 1 3 数据中心云平台总体设计 3 1 3 1 硬件结构 XX 市教育城域网及资源中心规划方案 17 杭州华三通信技术有限公司 根据本期工程的需求和建设目标云计算平台总体逻辑拓扑结构如上图所示 整个平台由网络 资源池 计算资源池 存储资源池 管理中心四部分组成 网络资源池 采用业界主流的 核心 接入 扁平化组网 核心交换机采用2台H3C S10508设备 部署 IRF2虚拟化技术 并在机框内部署和防火墙 FW 入侵防御检测 IPS 负载均衡 LB 插卡 实现业务的流量监控 负载分担和安全隔离防护 外联 至现网出口路由器 实现外网互通 接入交换机采用2台H3C S5820V2设备 部署IRF2 虚拟化技术 并启用VEPA功能 实现虚拟化网络感知 计算资源池 采用8 台H3C FlexServer R590机架服务器 通过H3C Cloud Virtualization Kernel虚拟化平台进行整合构建资源池 在虚拟机上部署业务系统和虚拟 桌面应用 存储资源池 采用1 台H3C FlexStorege 5730存储阵列 存放虚拟机镜像文件 配置文 件以及业务系统数据 管理中心 采用1 台H3C FlexServer R390机架服务器 部署H3C iMC APM服务管理组 件 H3Cloud软件套件 实现对云计算资源池的统一管理及调度 XX 市教育城域网及资源中心规划方案 18 杭州华三通信技术有限公司 3 1 3 2 软件结构 此次项目云计算软件平台的总体结构如上图所示 包括虚拟化层 自动化服务层 管理层 业务 编排层 API 层 1 虚拟化层 利用Cloud Virtualization Kernel提供的底层虚拟化能力和上层 Cloud Virtualization Center提供的管理能力 屏蔽底层物理硬件基础设施的异构性和复杂度 对外以虚拟资源池的形 式呈现 2 自动化服务层 强调业务运行的高可用性和可扩展性 并对业务提供自动的容灾备份与资源调度 能力 3 管理层 对虚拟化资源及云运营要素进行管理 如虚拟机生命周期的管理 虚拟机镜像文件和配 置文件的管理 多租户的安全隔离 网络策略配置的管理等 4 业务编排层 对云计算资源进行可运营性管理 包括对虚拟资源池的编排 最终用户的自助服务 XX 市教育城域网及资源中心规划方案 19 杭州华三通信技术有限公司 门户 业务的申请 审批与开通 用户帐务的管理与报表输出等 5 API层 为第三方云运营管理平台提供RESTful的API接口 上述各层的功能实现分别对应 H3Cloud 软件套件中的 Cloud Intelligence Center Cloud Virtualization Manager 和 Cloud Virtualization Kernel 三个组件完成 Cloud Virtualization Kernel 虚拟化内核与管理代理 运行在基础设施层和上层操作系统之间的 元 操作系统 用于协调上层操作系统对底层硬 件资源的访问 减轻软件对硬件设备以及驱动的依赖性 同时对虚拟化运行环境中的硬件兼容性 高可靠性 高可用性 可扩展性 性能优化等问题进行加固处理 Cloud Virtualization Manager 虚拟化管理软件包 主要实现对数据中心内的计算 网络和存储等硬件资源的软件虚拟化 形成虚拟资源池 对 上层应用提供自动化服务 其业务范围包括 虚拟计算 虚拟网络 虚拟存储 高可靠性 HA 动态资源调度 DRS 虚拟机容灾与备份 虚拟机模板管理 集群文件系统 虚拟交换机策略等 Cloud Intelligence Center 云业务运营软件包 由一系列云基础业务模块组成 通过将基础架构资源 包括计算 存储和网络 及其相关策 略整合成虚拟数据中心资源池 并允许用户按需消费这些资源 从而构建安全的多租户混合云 其业务范围包括 组织 虚拟数据中心 多租户数据和业务安全 云业务工作流 自助式服务门 户 兼容 OpenStack 的 REST API 接口等 3 1 4 云平台基础承载设计 3 1 4 1 核心层设计 数据中心核心交换机需要资源池内部高速交换以及骨干互联工作 建议采用 H3C 数据中心 XX 市教育城域网及资源中心规划方案 20 杭州华三通信技术有限公司 级核心交换机 S10500 主要基于如下考虑 高性能 核心汇聚层需要与其它外部网络互联 外连接口众多 并且这些外部网络所提 供的接入带宽和接入设备都是业界高端设备 所以为了使网络在核心交换市不存在性能 瓶颈 采用具备高密万兆的核心交换设备 整网可靠性 因为城域网数据中心网络业务系统具有高可靠性设计 业务层面最大限度 的保障业务转发不中断 不丢包 因此建议在核心交换部分采用主控和交换网板分离的 核心交换机 提高网络可靠性 使整网可靠性方面不存在短板 绿色环保 为了降低机房空调能耗 要求核心交换机采用竖插槽 前下部进风 上后部 抽风 强迫风散热形式 要求通过 RoHS CE 等国际环保认证 H3C S10500 系列交换机采用了先进的 CLOS 架构 每一台交换机都有两个核心的处理平面 即控制平面和业务处理平面 控制平面主要由主控板 接口板上的控制单元构成 完成协议处理 路由表维护 数据配置 和设备管理等控制功能 业务处理平面主要由接口板上的高速业务处理单元 ASIC 芯片 和集成在交换网板板上的交 换网构成 具备业务处理 报文交换和报文转发等功能 控制通道 接口板 网板通过专用通道分别连到主备控制板上的管理模块 实现双主控 1 1 多交换网 N 1 的热备份 提高系统的可靠性 业务通道 交换网芯片内置于交换网板 接口板通过高速通道分别连到交换网板上的交换网 控制平面和业务处理平面相互独立 互不影响 如下图所示 XX 市教育城域网及资源中心规划方案 21 杭州华三通信技术有限公司 采用这样主控板与交换网板分离的架构 大大提高了设备性能的可扩展性 如果未来需要提 高核心交换机的性能 无需更换机箱和引擎 只需升级交换网板即可 同时提高了设备的可靠性 由于主控板和交换板分离 即使在主控板故障的情况下 现有的业务流量仍能通过交换网板继续 转发 采用 IRF2 虚拟化技术后 网络核心结构变得更简单 更可靠 更高效 更简单 网络简化需要解决网络结构的简化 网络业务的简化 以及管理维护的简化这三方面的问题 通过在从核心到接入的整网部署 IRF2 技术 多台物理设备虚拟成一台统一的逻辑设备 不但网 络结构简单清晰 原先需要每台设备逐一配置 现在只需配置一次即可 大大简化了设备的管理 维护 此外 相比传统网络生成树 VRRP 的部署方式 启用 IRF2 以后 二层不再需要配置生成 树 也不再需要复杂的生成树多实例的规划 三层不再需要配置 VRRP 不再需要复杂的路由规 划和大量的 IP 地址消耗 从而简化了网络业务 更可靠 IRF 的高可靠性体现在链路级 协议级和设备级三个方面 链路级 成员设备之间的物理端口支持聚合功能 IRF 系统和上 下层设备之间的物理连接 也支持聚合功能 这样 通过多链路备份提高了链路的可靠性 XX 市教育城域网及资源中心规划方案 22 杭州华三通信技术有限公司 协议级 IRF 系统提供实时的协议热备份功能 负责将协议的配置信息备份到其他所有的成 员设备 从而实现 1 N 的协议可靠性 设备级 IRF 系统由多台成员设备组成 Master 设备负责系统的运行 管理和维护 Slave 设备在作为备份的同时也可以处理业务 一旦 Master 设备故障 系统会迅速自动选举新的 Master 以保证通过系统的业务不中断 从而实现了设备级的 1 N 备份 相比传统的二层生成 树技术和三层的 VRRP 技术 其收敛时间从 N 秒级缩短到毫秒级 更高效 对高端交换机而言 性能和端口密度的提升会受到其硬件结构的限制 而 IRF 系统的性能和 端口密度是 IRF 内部所有设备性能和端口数量的总和 因此 IRF 技术能够轻易的将设备的核心 交换能力 用户端口的密度扩大数倍 从而大幅度提高单台设备的性能 此外传统的生成树等技 术为了避免环路的发生 会采用阻断一条链路的方式 而 IRF2 可以通过跨设备聚合等特性 让 原本 Active standby 的工作模式 转变成为负载分担的模式 从而提高整网的运行效率 城域网的核心层设计在保证了高性能和高可靠性的基础上 还充分考虑了网络的安全性 本 方案中通过在 S10508 交换机上部署防火墙插卡 IPS 插卡和 LB 插卡的方式 对整个城域网的用 户和数据中心进行统一安全防护 核心层部署 IRF2 0 协议将两台 S10508 虚拟化成逻辑的 1 台交换机实现了跨 S10508 链路聚 合 通过虚拟化后的逻辑设备与下行接入层交换机 5820V2 进行互联 最终实现了核心 S10508 与接入 5820V2 之间逻辑点对点连接后消除环路的同时避免部署 STP 和 VRRP 协议 3 1 4 2 接入层设计 接入层交换机采用全万兆云平台接入交换机 H3C 5820V2 未来每台服务器将会部署多台虚 拟资源对外响应业务 考虑到每个业务能够保证访问的带宽要求 建议每台计算资源服务器与接 XX 市教育城域网及资源中心规划方案 23 杭州华三通信技术有限公司 入交换千兆互联 同时每台接入层交换机采用 2 个 10GE 接口与核心交换机相连 保证数据中心 互访的高效 3 1 4 3 网络安全设计 为了应对云计算环境下的流量模型变化 安全防护体系的部署需要朝着高性能的方向调整 在本次项目的建设过程中 多条高速链路汇聚成的大流量已经比较普遍 在这种情况下 安全设 备必然要具备对高密度的 10GE 甚至 100G 接口的处理能力 无论是独立的机架式安全设备 还 是配合数据中心高端交换机的各种安全业务引擎 都可以根据用户的云规模和建设思路进行合理 配置 同时 考虑到云计算环境的业务永续性 设备的部署必须要考虑到高可靠性的支持 诸如 双机热备 配置同步 电源风扇的冗余 链路捆绑聚合 硬件 BYPASS 等特性 真正实现大流量 汇聚情况下的基础安全防护 目前 虚拟化已经成为云计算提供 按需服务 的关键技术手段 包括基础网络架构 存储 资源 计算资源以及应用资源都已经在支持虚拟化方面向前迈进了一大步 只有基于这种虚拟化 技术 才可能根据不同用户的需求 提供个性化的存储计算及应用资源的合理分配 并利用虚拟 化实例间的逻辑隔离实现不同用户之间的数据安全 安全无论是作为基础的网络架构 还是基于 安全即服务的理念 都需要支持虚拟化 这样才能实现端到端的虚拟化计算 典型的示意图如图 所示 XX 市教育城域网及资源中心规划方案 24 杭州华三通信技术有限公司 本次项目防火墙插卡设备虽然部署在交换机框中 但仍然可以看作是一个独立的设备 它通 过交换机内部的 10GE 接口与网络设备相连 它可以部署为 2 层透明设备和三层路由设备 防火 墙与交换机之间的三层部署方式与传统盒式设备类似 如上图 FW 三层部署所示 防火墙可以与宿主交换机直接建立三层连接 也可以与上游或下 游设备建立三层连接 不同连接方式取决于用户的访问策略 可以通过静态路由和缺省路由实现 三层互通 也可以通过 OSPF 这样的路由协议提供动态的路由机制 如果防火墙部署在服务器市 域 可以将防火墙设计为服务器网关设备 这样所有访问服务器的三层流量都将经过防火墙设备 这种部署方式可以提供市域内部服务器之间访问的安全性 防火墙是网络系统的核心基础防护措施 它可以对整个网络进行网络市域分割 提供基于 IP 地址和 TCP IP 服务端口等的访问控制 对常见的网络攻击方式 如拒绝服务攻击 ping of death land syn flooding ping flooding tear drop 端口扫描 port scanning IP 欺 XX 市教育城域网及资源中心规划方案 25 杭州华三通信技术有限公司 骗 ip spoofing IP 盗用等进行有效防护 并提供 NAT 地址转换 流量限制 用户认证 IP 与 MAC 绑定等安全增强措施 对于云计算数据中心虚拟机服务网关的选择上 建议根据不同租户的安全需求进行市分对待 不建议将所有网关配置在 FW 上 以分散 FW 的压力 满足租户内的安全域隔离 具体设计如下 对于需要 FW 的业务的租户 网关部署在 vFW 上 对于不需要 FW 的普通租户 网关部署在核心交换机上 安全控制策略 防火墙设置为默认拒绝工作方式 保证所有的数据包 如果没有明确的规则允许通过 全部 拒绝以保证安全 建议在两台防火墙上设定严格的访问控制规则 配置只有规则允许的 IP 地址或者用户能够访 问数据业务网中的指定的资源 严格限制网络用户对数据业务网服务器的资源 以避免网络用户 XX 市教育城域网及资源中心规划方案 26 杭州华三通信技术有限公司 可能会对数据业务网的攻击 非授权访问以及病毒的传播 保护数据业务网的核心数据信息资产 配置防火墙防 DOS DDOS 功能 对 Land Smurf Fraggle Ping of Death Tear Drop SYN Flood ICMP Flood UDP Flood 等拒绝服务攻击进行防范 可以实现对各种拒绝 服务攻击的有效防范 保证网络带宽 配置防火墙全面攻击防范能力 包括 ARP 欺骗攻击的防范 提供 ARP 主动反向查询 TCP 报文标志位不合法攻击防范 超大 ICMP 报文攻击防范 地址 端口扫描的防范 ICMP 重定向或 不可达报文控制功能 Tracert 报文控制功能 带路由记录选项 IP 报文控制功能等 全面防范各 种网络层的攻击行为 根据需要 配置 IP MAC 绑定功能 对能够识别 MAC 地址的主机进行链路层控制 实现只 有 IP MAC 匹配的用户才能访问数据业务网中的服务器 其他可选策略 可以启动防火墙身份认证功能 通过内置数据库或者标准 Radius 属性认证 实现对用户身 份认证后进行资源访问的授权 进行更细粒度的用户识别和控制 根据需要 在两台防火墙上设置流量控制规则 实现对服务器访问流量的有效管理 有效的 避免网络带宽的浪费和滥用 保护关键服务器的网络带宽 根据应用和管理的需要 设置有效工作时间段规则 实现基于时间的访问控制 可以组合时 间特性 实现更加灵活的访问控制能力 在防火墙上进行设置告警策略 利用灵活多样的告警响应手段 E mail 日志 SNMP 陷阱 等 实现攻击行为的告警 有效监控网络应用 XX 市教育城域网及资源中心规划方案 27 杭州华三通信技术有限公司 启动防火墙日志功能 利用防火墙的日志记录能力 详细完整的记录日志和统计报表等资料 实现对网络访问行为的有效的记录和统计分析 防火墙能满足 L2 L4 层网络安全 对于应用层安全 病毒 攻击等 需采用 L4 L7 层安全防 护设备 IPS 来进行安全防护 IPS 入侵防御检测 集成入侵防御 检测 病毒过滤和带宽管理等 功能 通过深达 7 层的分析与检测 实时阻断网络流量中隐藏的病毒 蠕虫 木马 间谍软件 网页篡改等攻击和恶意行为 并实现对网络基础设施 网络应用和性能的全面保护 通过 FW 防火墙 与 IPS 入侵防御检测 安全设备联合部署 能够保证网络全面安全防护 使整网在安全的环境下高速运行 在保证安全性能的同时 通过在核心交换机部署 LB 负载均衡 模块 能够优化整网流量 并且能够与 H3Could 云计算软件进行联动 能够实现数据中心实现 DRX 动态资源调整 是资源 能够得到更加合理个性化分配 3 1 5 云平台计算资源池设计 服务器是云计算平台的核心 其承担着云计算平台的 计算 功能 对于云计算平台上的服 务器 通常都是将相同或者相似类型的服务器组合在一起 作为资源分配的母体 即所谓的服务 器资源池 在这个服务器资源池上 再通过安装虚拟化软件 使得其计算资源能以一种虚拟服务 器的方式被不同的应用使用 这里所提到的虚拟服务器 是一种逻辑概念 对不同处理器架构的 服务器以及不同的虚拟化平台软件 其实现的具体方式不同 在 x86 系列的芯片上 其主要是以 常规意义上的 VMware 虚拟机或者 H3Cloud 虚拟机的形式存在 XX 市教育城域网及资源中心规划方案 28 杭州华三通信技术有限公司 在搭建服务器资源池之前 首先应该确定资源池的数量和种类 并对服务器进行归类 归类 的标准通常是根据服务器的处理器类型 型号 配置 物理位置来决定 对云计算平台而言 属 于同一个资源池的服务器 通常就会将其视为一组可互相替代的资源 所以 一般都是将相同处 理器 相近型号系列并且配置与物理位置接近的服务器 比如相近型号 物理距离不远的机架 式服务器或者刀片服务器 在做资源池规划的时候 也需要考虑其规模和功用 如果单个资源池 的规模越大 可以给云计算平台提供更大的灵活性和容错性 更多的应用可以部署在上面 并且 单个物理服务器的宕机对整个资源池的影响会更小些 但是同时 太大的规模也会给出口网络吞 吐带来更大的压力 各个不同应用之间的干扰也会更大 如果有条件的话 通常推荐先审视一下 自身的业务应用 可以考虑将应用分级 将某些级别高的应用尽可能地放在某些独立而规模较小 XX 市教育城域网及资源中心规划方案 29 杭州华三通信技术有限公司 的资源池内 辅以较高级别的存储设备 并配备高级别的运维值守 而那些级别比较低的应用 则可以被放在那些规模较大的公用资源池 群 中 初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源 包括那些为搭 建云计算平台新购置的服务器 校园内部那些目前闲置着的服务器以及那些现有的并正在运行着 业务应用的服务器 在云计算平台搭建的初期 那些目前正在为业务系统服务的服务器并不会直 接被纳入云计算平台的管辖 但是随着云计算平台的上线和业务系统的逐渐迁移 这些服务器也 将逐渐地被并入云计算平台的资源池中 对于 x86 系列的服务器 除了用于生产系统的资源池以外 还需要专门搭建一个测试用资源 池 以便云计算平台项目实施过程以及平台上线以后运维过程中使用 在云计算平台搭建完毕以后 服务器资源池可以如下图所示 在云计算平台上线以后 原有非云计算平台上的应用会逐步向云计算平台迁移 空出的服务 器资源池也会逐渐并入云计算平台的资源池中 其状态可以用下图所示 XX 市教育城域网及资源中心规划方案 30 杭州华三通信技术有限公司 3 1 6 存储设计 对云计算平台存储的规划的出发点应该是应用本身 首先应该考察每个业务应用的优先级 以及其对存储性能 可靠性与灵活性的要求 对那些需要高性能与高可靠性的云计算应用 原则 上应该为其或者其所在的资源池配备性能 可靠性较好的高端的存储 而对于那些对灵活性要求 较高的业务应用 则应该考虑为其或其所在的资源池配备灵活性比较好的存储虚拟化方案 如果应用足够重要 在设计存储架构的时候还应该考虑存储级别的备份 以对各个节点可能 出现的故障做冗余 比如 可以采用双存储交换机互为热备的形式 来防止存储用光纤交换机所 出现的故障可能 同样 该资源池后面所拖的存储 也可以采用双存储热备的形式 为该资源池 的主存储购置一个型号相同的备用存储服务器并通过磁盘对磁盘的备份方式 对两个存储服务器 上的数据进行同步 这样 资源池 交换机和存储服务器的关系可以如下图所示 XX 市教育城域网及资源中心规划方案 31 杭州华三通信技术有限公司 对于共享存储资源池 根据具体资源池上所运行的业务类型的特性 也可以考虑为其配备各 种类型的存储 对于运行关键应用的生产系统 推荐配备 SAN 架构的存储解决方案 而对非关 键应用的生产系统 可以根据预算 灵活地配备 SAN iSCSI 或者 NAS 的存储解决方案 本地存储设计 服务器本地存储用于安装虚拟化平台 如 Cloud Virtualization Manager 和 Cloud Virtualization Kernel 和保存资源池的元数据 本地存储建议配置两块 SAS 硬盘 设置为 RAID 1 通过镜像 Mirror 方式防止本地磁盘出现单点故障 以提高 H3Cloud 本身的可用性 远端共享存储设计 远端共享存储用于保存所有虚拟机的镜像文件以支持动态迁移 HA 和动态负载均衡等高级 功能 共享存储 LUN 容量规划公式如下 LUN 容量 Z X Y 1 2 XX 市教育城域网及资源中心规划方案 32 杭州华三通信技术有限公司 Z 每 LUN 上驻留的虚拟机个数 X 虚拟磁盘文件容量 Y 内存大小 假设每个 LUN 上驻留 10 个虚拟机 虚拟磁盘文件容量需求平均为 40GB 内存容量在 4 8GB 之间 考虑到未来业务的扩展性 内存交换文件按 8GB 空间估算 整体冗余 20 那 么 LUN 容量 10 8 40 1 2 600GB ISO 库 为了虚拟机安装配置的方便 建议配置 ISO 镜像库 可以将保存在 Windows 共享中的 ISO 格式安装源文件通过 Windows CIFS 方式挂接在 H3Cloud HyperCenter 上 这样 创建新虚拟 机时不需要使用物理光驱和光盘 简化使用和提高安装速度 3 1 7 虚拟化平台设计 传统的虚拟机生命周期是指虚拟机从创建到删除所经历的各个阶段 最常见的划分为 创建 运行 终结 三个阶段 在 IaaS 架构中 虚拟机作为最为重要的 IT 基础设施 它的生命周期贯 穿于整个云业务服务的流程之中 并直接关系着云计算平台的资源利用状况 因此 为了更好的 将虚拟机的生命周期管理和云业务及资源平台管理结合在一起 在 H3Cloud 云计算解决方案中 将虚拟机的生命周期外延为 规划 创建 运行 调整 终结 五个阶段 在云解决方案中 虚 拟机生命周期的管理除了关注虚拟机正常的生命阶段以外 还需要关注虚拟机两个外延属性 业务和资源 XX 市教育城域网及资源中心规划方案 33 杭州华三通信技术有限公司 3 1 7 1 规划 虚拟机的规划是 IT 架构的关键设计范畴 在这个阶段需要将业务需求转化为 IT 需求 并落 实到业务和资源两个方面的规划设计中来 着重考虑两个方面的内容 业务梳理和评估 通过对业务的梳理 评估各学校以及数据中心平台各业务部门对虚拟机类型和规模的需 求 定义各部门组织以及给组织划分其所属的虚拟资源 包括计算资源 网络资源 存储资源以 及虚拟机模板等 实际操作流程如下图所示 XX 市教育城域网及资源中心规划方案 34 杭州华三通信技术有限公司 3 1 7 2 创建 虚拟机的创建是虚拟机实体诞生并提供给用户业务的开始 H3Cloud 云方案提供了多种方 式来创建虚拟机 从模板生成 自定义参数 克隆等 虚拟机创建时需要考虑硬件资源 CPU 数量 核数 CPU 调度优先级 IO 资源 存储资 源 IO 优先级 内存大小 网络资源 等 和系统和应用 操作系统等 两方面的内容 这些因素在 H3C 云管理平台中虚拟机创建流程中都会有涉及 具体操作界面如下图所示 XX 市教育城域网及资源中心规划方案 35 杭州华三通信技术有限公司 3 1 7 3 运行 虚拟机的运行可以实现完整的传统物理机运行状态 而且依托虚拟化技术实现更加灵活的虚 拟机使用模式 启动 休眠 关闭 暂停 恢复 重启 用户可以依托 H3C 云管理平台简单的实 现上述虚拟机的状态的切换 具体如下图所示 XX 市教育城域网及资源中心规划方案 36 杭州华三通信技术有限公司 3 1 7 4 调整 虚拟机的调整是云业务管理员根据虚拟机所承载的业务的变化需求对现有虚拟机所占资源的 主动行为 这种调整可以是由于业务扩展带来的虚拟机硬件资源扩张 也可能是业务收缩后对多 余资源的释放 虚拟机的调整是云计算业务资源弹性最直观的体现 也是云计算技术给教育业务 开展带来敏捷性的根本所在 H3C 云计算平台可以在线的调整虚拟机所占用的系统资源 实际操 作如下图所示 XX 市教育城域网及资源中心规划方案 37 杭州华三通信技术有限公司 3 1 7 5 终结 如下图所示 虚拟机在云计算管理平台上被删除 即意味着虚拟机生命周期的终结 在虚拟 机生命周期终结时要关注虚拟机所占用系统资源的回收 H3C 云管理平台在虚拟删除后 会自动 回收 CPU 和内存等资源 为了保证虚拟机数据安全其所占用的存储资源不会自动回收 XX 市教育城域网及资源中心规划方案 38 杭州华三通信技术有限公司 3 1 8 云平台系统设计 3 1 8 1 云业务工作流程 在 IT 即服务 的云计算平台系统中 IT 服务的自助式提供和业务自动化部署是云计算业 务的关键特点 而上述特点均依赖于云业务部署流程的合理管理和业务自动化部署的结合 通过 云业务工作流程的管理 可以将云计算平台中各功能模块有机的结合起来 从而实现云计算平台 业务快速和自动化开展实施 云业务工作流作为一个公共基础系统贯穿了云平台业务过程 最终实现 IT 服务的对业务部门 的自助式交付 H3C 云计算解决方案基于 Web 页面提供了完整的端到端云业务工作流程管理 其业务工作流程如下图所示 用户访问自助门户完成身份认证和权鉴 XX 市教育城域网及资源中心规划方案 39 杭州华三通信技术有限公司 服务目录根据用户身份 所属部门 组织对应的服务目录 并推送到用户自助门户 用户在自己对应的服务目录中选择申请所需的云服务 从而启动工作流 管理员审批用户的服务自助申请 审批通过后 启动业务开启流程 将服务申请下发到 编排系统 编排系统根据用户所选的服务获取对应的资源属性 自动调用云资源管理平台接口开通 所需的计算 网络 存储资源 创建出用户所申请的虚拟机 虚拟机创建成功后 编排系统通知用户自助门户更新状态 用户正常使用虚拟机资源 删除虚拟机亦参照此流程 3 1 8 2 虚拟桌面部署 桌面虚拟化解决方案在不改变用户使用习惯的前提下 将传统学校用户桌面系统以虚拟机的 形式提供给终端用户 这些虚拟机运行于云计算数据中心的虚拟计算资源池中 共享数据中心内 的计算 网络 存储资源 从而有效的实现了整个教育城域网内 IT 资源的弹性部署 依托云计算 管理平台和云业务工作流程 系统可以自动化部署用户自助申请的虚拟桌面资源 部署完成后用 户即可使用 从而极大的提升了桌面应用的弹性和效率 另一方面 云平台业务管理人员可以通 过管理通道远程集中式管理教育系统内各用户的虚拟桌面系统 避免了管理人员上门服务 效率 低下等传统桌面系统的问题 综上所述 桌面虚拟化系统具备有效保障关键数据的安全性 IT 硬件资源的弹性部署 增强桌面系统的灵活性的同时 增强了桌面系统的可管理性并降低了总体 拥有成本和维护成本 XX 市教育城域网及资源中心规划方案 40 杭州华三通信技术有限公司 如上图所示 为了实现虚拟桌面业务系统的搭建 云平台业务管理员首先需要依照流程搭建 好云计算业务平台 包括计算资源池 基础网络平台 存储资源池 云业务管理平台几个关键组 件 值得注意的是 在设计实施云业务平台之前 云业务管理员需要对各云平台以及各个学校业 务进行梳理和评估 通过细分各部门 各学校的业务需求 可以根据 需求事先定制其所需的虚 拟桌面类型 从而简化日常终端用户的虚拟桌面申请和审批业务流程 同时 虚拟机的管理通道 也需要在云业务平台设计时充分考虑并实施 依托 H3C 专利技术 H3C 云计算解决方案有效保 障了虚拟机迁移时管理系统的正常运行 H3C 桌面虚拟化解决方案可以实现虚拟桌面的自动化业务工作流 首先 终端用户登录基于 WEB 的自助服务平台 完成身份认证和权鉴后 可以根据云业务管理员为其事先定制的虚拟桌面 类型来按需选择申请所需的虚拟桌面 终端用户的申请审批通过后 云业务管理平台可以自动部 署用户所申请虚拟桌面 完成 IT 服务的自动化部署 用户申请的虚拟桌面虚拟机创建完成后 云 XX 市教育城域网及资源中心规划方案 41 杭州华三通信技术有限公司 管理平台会将更新后的用户虚拟桌面状态信息推送到自助服务平台 用户即通过自助服务平台基 于 WEB 页面实现对申请到的虚拟桌面系统的正常使用 H3C 用户自助服务业务平台 如下图所 示 XX 市教育城域网落成以后 可以为每个学校的教职工配发瘦客户机取代原有的 PC 教职工 通过虚拟桌面的形式将自己所办公所需要的信息和资源存放在位于市电教馆的数据中心 电教馆 的网络管理员可以为用户制定虚拟桌面的系统使用权限 对其在系统上安装和删除软件等行为进 XX 市教育城域网及资源中心规划方案 42 杭州华三通信技术有限公司 行控制 大大增强了整个教育城域网的可管理性 有效避免了用户乱装软件等行为导致的信息安 全事件 3 1 8 3 HA 功能部署 传统数据中心内的服务器高可靠性保障通常会选择依赖于集群技术的部署 而云计算平台将 计算资源虚拟化以后 可以利用虚拟服务器自身虚拟化的特点实现传统物理服务器上无法实现的 高可靠性 为了提升云业务系统的可靠性 在云计算平台的计算资源池建设时 可以将多个物理主机合 并为一个具有共享资源池的集群 H3Cloud Virtualization Manager HA 功能会监控该集群下所 有的主机和物理主机内运行的虚拟主机 当物理主机发生故障 出现宕机时 HA 功能组件会立 即响应并在集群内另一台主机上重启该物理主机内运行的虚拟机 当某一虚拟服务器发生故障时 HA 功能也会自动的将该虚拟机重新启动来恢复中断的业务 如下图所示 V M V M V M V M V M V M V M V M V M V M V M V M 集 群 XX 市教育城域网及资源中心规划方案 43 杭州华三通信技术有限公司 HA 功能给教育云计算平台带来的价值如下 简便的设置和启动 使用 新建集群 向导来进行初始设置 使用 H3Cloud Cloud Virtualization Manager 虚拟化管理平台添加主机和新的虚拟机 降低硬件成本和设置 在传统集群解决方案中 必须有重复的软硬件 而且各个组件必 须正确连接和配置 使用 H3Cloud Virtualization Manager 集群时 只要保证有足够 的资源容纳要确保其故障切换的主机的数量 就可以便捷自动地完成主机故障切换 无论硬件和操作系统平台如何 H3CCloud Virtualization Manager HA 都通过为应用程序 提供可用的 经济的高可靠性 而使其更 大众化 3 1 8 4 动态资源调整 H3Cloud Virtualization Manager 提供的动态资源调整功能可以持续不断地监控计算资源 池的各物理主机的利用率 并能够根据用户业务的实际需要 智能地在计算资源池各物理主机间 给虚拟机分配所需的计算资源 通过自动的动态分配和平衡计算资源 动态资源调整特性能够 整合服务器 降低 IT 成本 增强灵活性 减少停机时间 保持业务的持续性和稳定性 XX 市教育城域网及资源中心规划方案 44 杭州华三通信技术有限公司 减少需要运行服务器的数量 提高能源的利用率 随着业务量的增长 虚拟机对计算资源需求会相应的迅速增加 此时其所在物理主机的可用 资源可能就不能再满足其上承载的虚拟机的计算需要 H3Cloud Virtualization Manager 动态 资源调整功能组件可以自动并持续地平衡计算资源池中的容量 可以动态的将虚拟机迁移到有更 多可用计算资源的主机上 以满足虚拟机对计算资源的需求 即便大量运行 SQL Server 的虚拟 机 只要开启了动态资源调整功能 就不必再对 CPU 和内存的瓶颈进行一一监测 全自动化的资 源分配和负载平衡功能 也可以显著
展开阅读全文
相关资源
相关搜索

当前位置:首页 > 办公文档 > 解决方案


copyright@ 2023-2025  zhuangpeitu.com 装配图网版权所有   联系电话:18123376007

备案号:ICP2024067431-1 川公网安备51140202000466号


本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!