面向业务的IT系统容量规划和资源分配体系的创新与实施

中国移动四川公司中国移动四川公司2011科技成果科技成果材料材料面向业务的面向业务的IT系统容量规划和资源分配体系系统容量规划和资源分配体系 四川省公司音乐运营中心如何判断如何判断IT系统能否跟上业务的系统能否跟上业务的发展，做到适时扩容发展，做到适时扩容如何保障现有服务水平的条件下，如何保障现有服务水平的条件下，降低系统运维成本降低系统运维成本未来虚拟化、云计算的浪潮中，未来虚拟化、云计算的浪潮中，如何科学的分配虚拟资源如何科学的分配虚拟资源面面 临临 的的 挑挑 战战 亟待解决亟待解决问题的问题的核心核心1. IT系统提供的服务和应用与资源系统提供的服务和应用与资源消耗量是关系是什么消耗量是关系是什么2. 如何根据业务的需要如何根据业务的需要，科学的进科学的进行行系统资源调度和系统系统资源调度和系统容量规划容量规划解决方案：解决方案：为为IT系统进行面向业务的容量规划系统进行面向业务的容量规划什么是面向业务的容量规划什么是面向业务的容量规划1、面向业务的容量规划方法不同于原始的依靠经验来估算系、面向业务的容量规划方法不同于原始的依靠经验来估算系统规模，通过模型的计算更为准确；统规模，通过模型的计算更为准确；2、性能建模自动化，速度更加快捷；、性能建模自动化，速度更加快捷；3、将有力的解决未来虚拟化、云计算资源分配问题。、将有力的解决未来虚拟化、云计算资源分配问题。通过运用多种数学理论和工具，建立业务量与系统资源消耗量通过运用多种数学理论和工具，建立业务量与系统资源消耗量的数学模型；并根据业务发展的要求，对系统处理能力和规模的数学模型；并根据业务发展的要求，对系统处理能力和规模进行科学的分配和进行科学的分配和规划。规划。实施实施 案例案例无线音乐音乐基地的下载平台，承载了全国范围内的振铃、全无线音乐音乐基地的下载平台，承载了全国范围内的振铃、全曲下载，日均下载量为百万次以上。曲下载，日均下载量为百万次以上。 下载平台应用服务器负责音乐文件的实体下发任务下载平台应用服务器负责音乐文件的实体下发任务 振铃、全曲单次下载的平均时长分别为振铃、全曲单次下载的平均时长分别为 5 20s 和和 30 60s 用户的每次下载请求均要对应用服务器资源产生一定消耗用户的每次下载请求均要对应用服务器资源产生一定消耗因此，要确定平台资源是否能够满足下载业务的快速发展，我们需因此，要确定平台资源是否能够满足下载业务的快速发展，我们需要了解下载量与资源消耗的相互关系。要了解下载量与资源消耗的相互关系。故建立下载量与故建立下载量与CPU资源使用率的性能模型。资源使用率的性能模型。 实际建模主要内容实际建模主要内容建立建立并检并检验性验性能模能模型型数据数据预处预处理理性能性能数据数据收集收集设定监控采集粒度：设定监控采集粒度：10分钟分钟收集历史数据收集历史数据有效性检验有效性检验重复值、空值处理、重复值、空值处理、 噪点滤除噪点滤除性能模型求解算法设计及编程性能模型求解算法设计及编程性能模型：性能模型：CPU = 0.0245业务业务 + 92预测下载平台应用服务器扩容后资源使用情况预测下载平台应用服务器扩容后资源使用情况模型验证及准确度计算模型验证及准确度计算历史数据验证；模型精确度：历史数据验证；模型精确度：87%经济收益经济收益原有方案原有方案本成果本成果收益收益咨询项目费用咨询项目费用30 50 （万）030 50（万）硬件投资硬件投资13台ATAE服务器4台ATAE服务器58 9 = 522（万）运维成本运维成本降低运维成本：10（万）以上环境运行费用环境运行费用减少设备耗电成本：0.290.7524365 = 1.18（万）合计合计可减少资本投入及运维成本可减少资本投入及运维成本 ：563.18 万以上万以上本成果应用到下载平台后经济收益估算表本成果应用到下载平台后经济收益估算表社会收益社会收益节能减排，节能减排，彰彰显央企的社会责任感显央企的社会责任感本成果在下载平台的应用，经测算仅设备耗电量一项上就可以降低1.6万度以上为集团虚拟化技术的推广提供有利条件为集团虚拟化技术的推广提供有利条件本成果提出了虚拟资源预分配方案，可以避免资源频繁漂移问题，为集团虚拟化技术的推广提供了有利条件。 音乐基地在完全依靠自身的条件下，运用多元线性回归理音乐基地在完全依靠自身的条件下，运用多元线性回归理论和时间序列分析等理论，推导和总结了一套面向业务的论和时间序列分析等理论，推导和总结了一套面向业务的、适用于多种、适用于多种IT架构的系统容量规划和资源分配体系；架构的系统容量规划和资源分配体系； 与传统依靠经验的容量规划相比，新方法更准确、更快捷与传统依靠经验的容量规划相比，新方法更准确、更快捷 总总 结结性能建模性能建模经验经验IT系统的容量规划系统的容量规划 将该方法运用到音乐基地的下载平台，建立了振铃、全曲将该方法运用到音乐基地的下载平台，建立了振铃、全曲下载量与应用服务器资源利用率的数学模型。下载量与应用服务器资源利用率的数学模型。 通过与实际结果的对比，检验了模型的准确性，同时也验通过与实际结果的对比，检验了模型的准确性，同时也验证了性能建模方法的可靠性。证了性能建模方法的可靠性。 建立的性能模型准确的预测了下载平台扩容后资源的使用建立的性能模型准确的预测了下载平台扩容后资源的使用情况。情况。 使用面向业务的容量规划方法后，预计可为基地带来使用面向业务的容量规划方法后，预计可为基地带来 500万元以上的收益。万元以上的收益。 总总 结结 了解业务量与资源使用率的真实关系 根据业务需要进行系统资源分配快速适应业务的发展 避免过度投资，降低成本提升系统稳定性和服务水平更精确的IT资源预算虚拟化资源分配的好帮手资源、业务的选取没有限制降低维护人员的工作量和运维成本普适度高 有利于整合业务发展与IT规划目标IT容量规划更加便捷面向业务的面向业务的 容量规划的优势：容量规划的优势： 根据多元线性回归理论，通过数学的方法构建系统中承载的业务量与资源消耗量间的关系： 等式左边描述了不同业务对系统资源的消耗情况 对应业务1到 j 的消耗因子； 表示非业务应用对资源的消耗量，例如操作系统、监控等 R 表示系统中采集到总的一种资源使用量。 详详 细细 原原 理理 介介 绍绍01122jjaa Na Na NR0a12,jaaa 等式中资源 R 由监控软件采集得到 根据建模的目标，设定监控采集的粒度 建立每天业务量均值与资源使用量的模型，粒度：1小时 建立每小时业务量与与资源使用量的模型，粒度：5 10分钟 根据需要，选择建模资源 R，资源的选取没有限制 CPU、内存 磁盘、表空间 I/O、网络，等等 原原 理理快速、准确的性能建模快速、准确的性能建模 可以调整业务间不同的占比， 进行测试 或通过收集充足的、大量的历史信息12,iiijNNN011 121 211012 122 22201122jjjjiijijiaa NaNaNRaa NaNaNRaa NaNaNRTT1112112122220121+1121+111=1jjjjiiijiiijNNNRNNNRaaaaNNNR矩阵变换建立多组业务量与资源消耗等式111212122212111jjiiijNNNNNNHNNN根据矩阵理论，在求解根据矩阵理论，在求解 a0，a1，aj 时，时，只有当矩阵只有当矩阵H秩，秩，R（H） j 时等式才有最优的近似解。时等式才有最优的近似解。T1210121+11=jjiiRRaaaaHR 业务业务1，2.，j 相互独立，之间相互独立，之间不存在相互调用关系不存在相互调用关系 若业务若业务m、n存在相互调用，则存在相互调用，则需排除相互调用发生的业务量需排除相互调用发生的业务量 容量规划和资源分配流程容量规划和资源分配流程Step1 数据收集数据收集 明确性能建模目标。 获取系统应用和负载列表。 根据模型精度需要，设置监控的采集信息的粒度。一般而言，粒度越小，所建立的模型精度越高。 通过性能测试，或收集5至6周系统的业务和系统负载数据 对原始数据按时间先后顺序排序，确定数据有效性 删除重复数据 对空值使用插值法处理 将业务和资源消耗的采集值转化为小时均值，并将业务量数据与资源负荷相对应。 相关性分析 噪点滤除 数据收集数据收集Step2 数据预处理数据预处理 代入预处理后的数据，计算得出业务j与资源消耗因子 aj 的数学模型模型建立与验证模型建立与验证Step3 建立模型建立模型Step4 模型验证模型验证 将业务数据代入数学模型，得出相应的资源消耗情况 计算模型精确度 将模型计算值与实际值进行对比，判定模型是否有效Step5 业务分析业务分析 将业务分为月初、月末，节假日及日常三种类型 计算三种类型时段的业务中位数，找出系统忙时 运用时间序列分析法和指数平滑法得出未来6至12个月业务发展数据。业务发展内在规律分析业务发展内在规律分析Step6资源辨识资源辨识 将预测得出的业务数据代入性能模型： 资源利用率低于30%，判定为“空闲”资源 资源利用率大于30%小于60%，判定为“正常”资源 资源利用率大于60%，判定为“繁忙”资源 整合空闲资源，将多余服务器下线 扩容繁忙资源辨识系统资源处理能力辨识系统资源处理能力谢 谢！