面向业务的IT系统容量规划和资源分配体系的创新与实施.ppt

《面向业务的IT系统容量规划和资源分配体系的创新与实施.ppt》由会员分享，可在线阅读，更多相关《面向业务的IT系统容量规划和资源分配体系的创新与实施.ppt（21页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、中国移动四川公司中国移动四川公司2011科技成果科技成果材料材料面向业务的面向业务的IT系统容量规划和资源分配体系系统容量规划和资源分配体系 四川省公司音乐运营中心如何判断如何判断IT系统能否跟上业务的系统能否跟上业务的发展，做到适时扩容发展，做到适时扩容如何保障现有服务水平的条件下，如何保障现有服务水平的条件下，降低系统运维成本降低系统运维成本未来虚拟化、云计算的浪潮中，未来虚拟化、云计算的浪潮中，如何如何科学科学的分配虚拟资源的分配虚拟资源面面 临临 的的 挑挑 战战 亟待解决亟待解决问题的问题的核心核心1.IT系统提供的服务和应用与资源系统提供的服务和应用与资源消耗量是关系是什么消耗量是

2、关系是什么2.如何根据业务的需要如何根据业务的需要，科学的进科学的进行行系统资源调度和系统系统资源调度和系统容量规划容量规划解决方案：解决方案：为为IT系统进行面向业务的容量规划系统进行面向业务的容量规划什么是面向业务的容量规划什么是面向业务的容量规划1、面向业务的容量规划方法不同于原始的依靠经验来估算系统、面向业务的容量规划方法不同于原始的依靠经验来估算系统规模，通过模型的计算更为准确；规模，通过模型的计算更为准确；2、性能建模自动化，速度更加快捷；、性能建模自动化，速度更加快捷；3、将有力的解决未来虚拟化、云计算资源分配问题。、将有力的解决未来虚拟化、云计算资源分配问题。通过运用多种数学理

3、论和工具，建立业务量与系统资源消耗量通过运用多种数学理论和工具，建立业务量与系统资源消耗量的数学模型；并根据业务发展的要求，对系统处理能力和规模的数学模型；并根据业务发展的要求，对系统处理能力和规模进行科学的分配和规划。进行科学的分配和规划。新新新新实施实施 案例案例无线音乐音乐基地的下载平台，承载了全国范围内的振铃、全无线音乐音乐基地的下载平台，承载了全国范围内的振铃、全曲下载，日均下载量为百万次以上。曲下载，日均下载量为百万次以上。下载平台应用服务器负责音乐文件的实体下发任务下载平台应用服务器负责音乐文件的实体下发任务 振铃、全曲单次下载的平均时长分别为振铃、全曲单次下载的平均时长分别为

4、5 20s 和和 30 60s 用户的每次下载请求均要对应用服务器资源产生一定消耗用户的每次下载请求均要对应用服务器资源产生一定消耗因此，要确定平台资源是否能够满足下载业务的快速发展，我们需要因此，要确定平台资源是否能够满足下载业务的快速发展，我们需要了解下载量与资源消耗的相互关系。了解下载量与资源消耗的相互关系。故建立下载量与故建立下载量与CPU资源使用率的性能模型。资源使用率的性能模型。实际建模主要内容实际建模主要内容建立并建立并检验性检验性能模型能模型数据数据预处理预处理性能数性能数据收集据收集设定监控采集粒度：设定监控采集粒度：10分钟分钟收集历史数据收集历史数据有效性检验有效性检验重

5、复值、空值处理、重复值、空值处理、噪点滤除噪点滤除性能模型求解算法设计及编程性能模型求解算法设计及编程性能模型：性能模型：CPU=0.0245业务业务+92预测下载平台应用服务器扩容后资源使用情况预测下载平台应用服务器扩容后资源使用情况模型验证及准确度计算模型验证及准确度计算历史数据验证；模型精确度：历史数据验证；模型精确度：87%经济收益经济收益原有方案原有方案本成果本成果收益收益咨询项目费用咨询项目费用30 50（万）030 50（万）硬件投资硬件投资13台ATAE服务器4台ATAE服务器58 9=522（万）运维成本运维成本降低运维成本：10（万）以上环境运行费用环境运行费用减少设备耗电

6、成本：0.290.7524365=1.18（万）合计合计可减少资本投入及运维成本可减少资本投入及运维成本：563.18 万以上万以上本成果应用到下载平台后经济收益估算表本成果应用到下载平台后经济收益估算表社会收益社会收益节能减排，节能减排，彰彰显央企的社会责任感显央企的社会责任感本成果在下载平台的应用，经测算仅设备耗电量一项上就可以降低1.6万度以上为集团虚拟化技术的推广提供有利条件为集团虚拟化技术的推广提供有利条件本成果提出了虚拟资源预分配方案，可以避免资源频繁漂移问题，为集团虚拟化技术的推广提供了有利条件。音乐基地在完全依靠自身的条件下，运用多元线性回归理音乐基地在完全依靠自身的条件下，运

7、用多元线性回归理论和时间序列分析等理论，推导和总结了一套面向业务的、论和时间序列分析等理论，推导和总结了一套面向业务的、适用于多种适用于多种IT架构的系统容量规划和资源分配体系；架构的系统容量规划和资源分配体系；与传统依靠经验的容量规划相比，新方法更准确、更快捷与传统依靠经验的容量规划相比，新方法更准确、更快捷 总总 结结性能建模性能建模经验经验IT系统的容量规划系统的容量规划将该方法运用到音乐基地的下载平台，建立了振铃、全曲将该方法运用到音乐基地的下载平台，建立了振铃、全曲下载量与应用服务器资源利用率的数学模型。下载量与应用服务器资源利用率的数学模型。通过与实际结果的对比，检验了模型的准确性

8、，同时也验通过与实际结果的对比，检验了模型的准确性，同时也验证了性能建模方法的可靠性。证了性能建模方法的可靠性。建立的性能模型准确的预测了下载平台扩容后资源的使用建立的性能模型准确的预测了下载平台扩容后资源的使用情况。情况。使用面向业务的容量规划方法后，预计可为基地带来使用面向业务的容量规划方法后，预计可为基地带来 500万元以上的收益。万元以上的收益。总总 结结 了解业务量了解业务量与资源使用与资源使用率的真实关率的真实关系系 根据业务需根据业务需要进行系统要进行系统资源分配资源分配快速适应业快速适应业务的发展务的发展 避免过度投避免过度投资，降低成资，降低成本本提升系统稳提升系统稳定性和服

9、务定性和服务水平水平更精确的更精确的IT资源预算资源预算虚拟化资源虚拟化资源分配的好帮分配的好帮手手资源、业务资源、业务的选取没有的选取没有限制限制降低维护人降低维护人员的工作量员的工作量和运维成本和运维成本普适度高普适度高 有利于整合有利于整合业务发展与业务发展与IT规划目标规划目标IT容量规划容量规划更加便捷更加便捷面向业务的面向业务的 容量规划的优势：容量规划的优势：谢 谢！根据多元线性回归理论，通过数学的方法构建系统中承载的业务量与资源消耗量间的关系：等式左边描述了不同业务对系统资源的消耗情况 对应业务1到 j 的消耗因子；表示非业务应用对资源的消耗量，例如操作系统、监控等R 表示系统

10、中采集到总的一种资源使用量。详详 细细 原原 理理 介介 绍绍等式中资源 R 由监控软件采集得到根据建模的目标，设定监控采集的粒度建立每天业务量均值与资源使用量的模型，粒度：1小时建立每小时业务量与与资源使用量的模型，粒度：5 10分钟根据需要，选择建模资源 R，资源的选取没有限制CPU、内存磁盘、表空间I/O、网络，等等 原原 理理快速、准确的性能建模快速、准确的性能建模 可以调整业务间不同的占比，进行测试 或通过收集充足的、大量的历史信息矩阵变换建立多组业务量与资源消耗等式根据矩阵理论，在求解根据矩阵理论，在求解 a0，a1，aj 时，时，只有当矩阵只有当矩阵H秩，秩，R（H）j 时等式才

11、有最优的近似解。时等式才有最优的近似解。业务业务1，2.，j 相互独立，之间相互独立，之间不存在相互调用关系不存在相互调用关系 若业务若业务m、n存在相互调用，则存在相互调用，则需排除相互调用发生的业务量需排除相互调用发生的业务量 容量规划和资源分配流程容量规划和资源分配流程Step1 数据收集数据收集明确性能建模目标。获取系统应用和负载列表。根据模型精度需要，设置监控的采集信息的粒度。一般而言，粒度越小，所建立的模型精度越高。通过性能测试，或收集5至6周系统的业务和系统负载数据对原始数据按时间先后顺序排序，确定数据有效性删除重复数据对空值使用插值法处理将业务和资源消耗的采集值转化为小时均值，

12、并将业务量数据与资源负荷相对应。相关性分析噪点滤除 数据收集数据收集Step2 数据预处理数据预处理代入预处理后的数据，计算得出业务j与资源消耗因子 aj 的数学模型模型建立与验证模型建立与验证Step3 建立模型建立模型Step4 模型验证模型验证将业务数据代入数学模型，得出相应的资源消耗情况计算模型精确度将模型计算值与实际值进行对比，判定模型是否有效Step5 业务分析业务分析将业务分为月初、月末，节假日及日常三种类型计算三种类型时段的业务中位数，找出系统忙时运用时间序列分析法和指数平滑法得出未来6至12个月业务发展数据。业务发展内在规律分析业务发展内在规律分析Step6资源辨识资源辨识将预测得出的业务数据代入性能模型：资源利用率低于30%，判定为“空闲”资源资源利用率大于30%小于60%，判定为“正常”资源资源利用率大于60%，判定为“繁忙”资源整合空闲资源，将多余服务器下线扩容繁忙资源辨识系统资源处理能力辨识系统资源处理能力