系统维护和机房运维方案(33页).doc

《系统维护和机房运维方案(33页).doc》由会员分享，可在线阅读，更多相关《系统维护和机房运维方案(33页).doc（33页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、-系统维护和机房运维方案-第 31 页运维服务方案2016年5月18日目 录1服务内容.3 1.1 服务目标.3 1.2 信息资产统计服务.3 1.3 网络、安全系统运维服务.4 1.4 主机系统运维服务.6 1.5 存储系统运维服务.101.6 数据安全存储及灾备运维服务.111.6.1 传统的灾备方式.111.6.2 容灾方案的关键指标.131.6.3 常见的备份策略.141.6.4 容灾的核心问题.151.6.5 容灾的实现方式.161.6.6 异地容灾技术.181.6.7 灾难恢复级别.201.7 容灾建设方式.211.7.1 企业信息系统保护层次.211.7.2 容灾技术模型.231

2、.7.3 业务平台的保护-业务处理能力的冗余.231.7.4 数据平台的保护-业务状态数据的复制.241.7.5 接入平台冗余和贴换.241.7.6 容灾模式.241.7.6.1 容灾层次.251.7.6.2 容灾范围.251.7.6.3 同级容灾或降级容灾.261.7.6.4 容灾技术概述.271.7.6.5 基于存储的数据复制技术建设容灾系统.281.7.6.6 小结.312运维服务流程.323服务管理制度规范.34 3.1 服务时间. .34 3.2 行为规范. .34 3.3 现场服务支持规范. .35 3.4 问题记录规范. . .354应急服务响应措施. .37 4.1 应急基本流

3、程 . .37 4.2 预防措施. .37 4.3 突发事件应急策略 .381 服务内容1.1 服务目标可为提供的运行维护服务包括，信息系统相关的主机设备、操作系统、存储设备容灾的运行维护服务，保证用户现有的信息系统的正常运行，降低整体管理成本，提高网络信息系统的整体服务水平。同时根据日常维护的数据和记录，提供用户信息系统的整体建设规划和建议，更好的为用户的信息化发展提供有力的保障。用户信息系统的组成主要可分为两类：硬件设备和软件系统。硬件设备包括网络设备、安全设备、主机设备、存储设备等；软件设备可分为操作系统软件、典型应用软件（如：数据库软件、中间件软件等）、业务应用软件等。通过运行维护服务

4、的有效管理来提升用户信息系统的服务效率，协调各业务应用系统的内部运作，改善网络信息系统部门与业务部门的沟通，提高服务质量。结合用户现有的环境、组织结构、IT资源和管理流程的特点，从流程、人员和技术三方面来规划用户的网络信息系统的结构。将用户的运行目标、业务需求与IT服务的相协调一致。提供的信息系统服务的目标是，对用户现有的信息系统基础资源进行监控和管理，及时掌握网络信息系统资源现状和配置信息，反映信息系统资源的可用性情况和健康状况，创建一个可知可控的IT环境，从而保证用户信息系统的各类业务应用系统的可靠、高效、持续、安全运行。服务项目范围覆盖的信息系统资源以下方面的关键状态及参数指标： 运行状

5、态、故障情况 配置信息 可用性情况及健康状况性能指标1.2 信息资产统计服务此项服务为基本服务，包含在运行维护服务中，帮助我们对用户现有的信息资产情况进行了解，更好的提供系统的运行维护服务。机房服务内容包括： 机房电源、温度、湿度信息统计记录 硬件设备型号、数量、版本等信息统计记录 软件产品型号、版本和补丁等信息统计记录 存储产品型号、版本和性能等信息统计记录 网络结构、网络路由、网络IP地址统计记录 综合布线系统结构图的绘制 其它附属设备的统计记录1.2.1 机房电源、温度、湿度要求频率输入电压相位电流开关备注50Hz220V单相 2线+地线20A单相交流电参数运行状态非运行状态温度 10-

6、4010-50相对湿度 %8-808-90温度变化 10 10 硬件设备清单如下表统计：1.3 网络、安全系统运维服务从网络的连通性、网络的性能、网络的监控管理三个方面实现对网络系统的运维管理。网络、安全系统基本服务内容：序号服务模块内容描述提供方1现场备件安装配合用户进行，按备件到达现场时间工程师到达现场xxx公司2现场软件升级首先分析软件升级的必要性和风险，配合用户进行软件升级xxx公司3现场故障诊断按服务级别：724小时 58小时xxx公司4电话远程技术支持724小时xxx公司5问题管理系统对遇到的问题进行汇总和发布xxx公司 机房网络核心交换机信息系统管理单位： 维保单位： 设备名：

7、设备型号：管理IP：检查内容参考标准检查结果检查结论巡视方法描述巡检周期硬件运行状态电源运行状态正常 异常风扇运行状态正常 异常模块运行状态正常 异常系统运行状态检查VLAN 状态正常 异常配置 状态正常 异常OSPF 状态正常 异常日志检查日志 状态正常 异常其他检查内容正常 异常正常 异常正常 异常(1) 用户现场技术人员值守可根据用户的需求提供长期的用户现场技术人员值守服务，保证网络的实时连通和可用，保障接入交换机、汇聚交换机和核心交换机的正常运转。现场值守的技术人员每天记录网络交换机的端口是否可以正常使用，网络的转发和路由是否正常进行，交换机的性能检测，进行整体网络性能评估，针对网络的

8、利用率进行优化并提出网络扩容和优化的建议。现场值守人员还进行安全设备的日常运行状态的监控，对各种安全设备的日志检查，对重点事件进行记录，对安全事件的产生原因进行判断和解决，及时发现问题，防患于未然。同时能够对设备的运行数据进行记录，形成报表进行统计分析，便于进行网络系统的分析和故障的提前预知。具体记录的数据包括： 配置数据 性能数据 故障数据(2) 现场巡检服务现场巡检服务是对客户的设备及网络进行全面检查的服务项目，通过该服务可使客户获得设备运行的第一手资料，最大可能地发现存在的隐患，保障设备稳定运行。同时，将有针对性地提出预警及解决建议，使客户能够提早预防，最大限度降低运营风险。巡检包括的内

9、容如下：编号内容1硬件运行状态检查项目单板状态检查电源模块状态检查风扇状态检查整机指示灯状态检查机框防尘网检查机房温度、湿度检查设备地线检查2软件运行情况检查项目设备运行情况检查网络报文分析设备对接运行状况检查路由运行情况检查3网络整体运行情况调查网络运行问题调查网络变更情况调查网络历史故障调查(3) 网络运行分析与管理服务网络运行分析与管理服务是指工程师通过对网络运行状况、网络问题进行周期性检查、分析后，为客户提出指导性建议的一种综合性高级服务，其内容包括： 服务内容服务优点向客户提供网络专家电话号码。保证重大问题第一连线至网络专家。网络专家组每周与客户进行不少于2小时的电话技术交流以最小成

10、本保证及时解答客户关心的技术问题，并就某一领域技术问题展开深层次沟通。每月向客户提交CASE汇总分析报告，并可扩展到每年17次（月度、季度、年度）使客户了解网络历史故障情况以及故障预防建议，最大程度减少网络故障隐患，更高效的进行网络管理。(4) 重要时刻专人值守服务深刻知道保证重要时刻设备稳定运行对客户成功尤为关键，因此，可对客户提供重要时刻的专人现场值守支持，包括政府客户的重大会议期间、金融客户的年终结算日、运营商客户的生产网重大割接或其它任何客户认为可能对其业务运营产生重大影响的时刻。如需专人值守，客户需至少提前3周与授权服务商客户服务经理联系。对每位合约客户，授权服务商均需按事先合同约定

11、提供专人值守服务。客户如需超出合同约定范围的更多值守支持，需额外支付相应人力和差旅费用。1.4 主机系统运维服务现在造成IT架构不可用的原因有很多，主要包括非计划性宕机和计划性宕机两大类，其中，非计划性宕机主要是由计算机故障或数据故障引起的;计划性宕机主要是由于生产系统的数据改变或系统改变引起的。(1)、非计划性宕机非计划性宕机主要包括主机宕机、数据故障宕机、存储故障、人为错误、数据损坏、站点故障等。 主机故障宕机当主机系统或数据库服务器出现意外故障并导致服务中断时，主机系统就会发生故障。 数据故障宕机数据故障是指丢失、损坏或破坏关键企业数据。数据故障的原因比计算机故障更加错综复杂，可能由于存

12、储硬件、人为错误、损坏或站点故障引起。 存储故障单一存储配置，目前都是采用磁盘RAID技术加热备磁盘来解决，因此存储系统的故障主要是由机房电力故障或人为因素导致存储设备的电源发生故障。 人为错误人为错误包括：误删除重要数据或升级语句中不正确的“WHERE”子句更新了比预定更多的行。 数据损坏数据损坏通常由 I/O 堆栈中的故障组件导致，例如，数据库将 I/O 作为更新交易的结果，该数据库 I/O 将在各个组件中进行传输，包括：操作系统的 I/O 代码、文件系统、卷管理器、设备驱动程序、主机总线适配器、存储控制器和磁盘驱动器，直至最后被写入。I/O 堆栈中任何组件发生错误或硬件故障，都可能“变换

13、”数据中的一些位，进而导致损坏的数据被写入数据库中，这一损坏可能是数据库控制信息或用户数据，它们对于数据库的正常工作至关重要;同样，磁盘故障也可能损坏数据。 站点故障数据保护特性提供了预防灾难性事件的能力，这些事件可能在某一段时间内严重减缓站点的处理能力，这些事件包括文件损坏、自然灾害、电力或通信中断，甚至恐怖活动。(2)、计划性宕机计划性宕机是IT系统在运行阶段所不可避免的，但IT系统停机运维会影响到数据库停止对外提供服务，会对业务运营造成一定影响，特别是对724365的业务系统、计费系统、在线交易系统等。计划内停机包括例行操作、定期维护和部署新设备等：例行操作指频繁进行的维护任务，包括备份

14、、性能管理、用户管理和批处理;定期维护，如安装补丁和重新配置系统，只是偶尔进行，以更新数据库、应用程序、操作系统、中间件或网络;部署新设备包括硬件、操作系统、据库、应用程序、中间件或网络的重大升级。申请计划停机时不仅要考虑计划的停机时间，同时还要考虑因停机造成的对整个业务系统的影响。 数据更改导致的停机对于数据的更改例如增加数据空间、改变数据库的对象，添加及删除数据库对象，对数据库的参数进行调整等操作，都有可能导致计划性停机。 系统更改而导致的停机由于系统更改导致的停机主要表现在两方面：一是主机系统的更改，例如更新设备、添加硬件、调整参数造成主机系统重启;二是数据库系统的更改，例如数据库补丁升

15、级，调整一些重要参数需要重新启动数据库的运维操作。提供的主机系统的运维服务包括：主机的日常监控，设备的运行状态监控，故障处理，操作系统维护，补丁升级等内容。主机系统基本服务内容：序号服务模块内容描述提供方1现场备件安装配合用户进行。按备件到达现场时间工程师到达现场设备厂商、xxx公司2补丁服务消除软件漏洞给系统带来的安全隐患，并对安装补丁所引起的系统连锁反应进行合理的平衡。xxx公司3升级服务对系统进行软件或硬件的升级，以改进、完善现有系统或消除现有系统的漏洞。xxx公司4现场故障诊断按服务级别：724小时 58小时xxx公司5电话远程技术支持724小时xxx公司6问题管理系统对遇到的问题进行

16、汇总和发布xxx公司7系统优化对客户系统的括主机、存储设备、操作系统、提供优化服务。现场值守人员可进行监控管理的内容包括： CPU 性能管理； 内存使用情况管理； 硬盘利用情况管理； 系统进程管理； 主机性能管理； 实时监控主机电源、风扇的使用情况及主机机箱内部温度； 监控主机硬盘运行状态； 监控主机网卡、阵列卡等硬件状态； 监控主机HA运行状况； 主机系统文件系统管理； 监控备份服务进程、备份情况（起止时间、是否成功、出错告警）；服务器部分系统管理单位： XX供电公司设备名： 设备型号设备序列号管理IP：检查内容参考标准检查结果状态是否正常巡检方法描述巡检周期硬件运行状态电源指示灯正常 异常

17、面板指示灯正常 异常内置磁带机正常 异常CPU 状态正常 异常内存状态正常 异常磁盘状态正常 异常网卡状态正常 异常HBA卡运行状态正常 异常系统检查系统日志正常 异常Mail正常 异常文件系统，包括磁盘卷剩余空间正常 异常硬件检测正常 异常交换分区正常 异常固件版本正常 异常补丁包版本正常 异常系统镜像正常 异常设备灯状态正常 异常系统故障报告正常 异常进程状态正常 异常系统性能检查CPU利用率正常 异常内存利用率正常 异常磁盘I/O性能正常 异常集群检查集群进程状态正常 异常集群日志正常 异常1.5 网络存储系统运维服务提供的机房存储环境（SAN、NAS）运行维护服务是包括存储的IOPS和

18、Space利用管理，存储的主动IOPS性能和Space利用管理对系统运维非常重要。可了解用CIFS、iscsi、FC、FCoE、NFS协议运行状况，通过性能管理可了解存储的日常运行状态，识别存储的IOPS性能，有针对性地进行性能优化。同时，密切注意存储系统的变化，主动地预防可能发生的问题。存储-主机规划主机名 HostName分区Space应用 ApplicationOS版本HA版本HBA型号IOPS （64K512K） 存储故障单一存储配置，目前都是采用磁盘RAID技术加热备磁盘来解决，因此存储系统的故障主要是由机房电力故障或人为因素导致存储设备的电源发生故障。数据损坏通常由 I/O 堆栈中

19、的故障组件导致，例如，数据库将 I/O 作为更新交易的结果，该数据库 I/O 将在各个组件中进行传输，包括：操作系统的 I/O 代码、文件系统、卷管理器、设备驱动程序、主机总线适配器、存储控制器和磁盘驱动器，直至最后被写入。I/O 堆栈中任何组件发生错误或硬件故障，都可能“变换”数据中的一些位，进而导致损坏的数据被写入数据库中，这一损坏可能是数据库控制信息或用户数据，它们对于数据库的正常工作至关重要;同样，磁盘故障也可能损坏数据。为了减少单一站点的故障，是数据业务连续性，实现数据的异地备份，并在发生意外灾难时对数据进行快速恢复，确保客户的业务持续性。提供的存储运行维护服务还包括快速发现、诊断和

20、解决性能问题，在出现问题时，及时找出性能瓶颈，解决存储性能问题，维护高效的应用系统。存储运行维护服务，主要工作是使用技术手段来达到管理的目标，以系统最终的运行维护为目标，提高用户的工作效率。1.6 数据安全存储及灾备运维服务 说到灾难恢复，自然会想到备份。企业关键数据丢失会中断企业正常商务运行，造成巨大经济损失，容灾和备份都是保护数据的有效手段。同时，数据容灾与数据备份相互联系，主要体现在以下几个方面： 数据备份是数据容灾的基础 数据备份是系统、数据容灾的基础，也是低端容灾的实现，是高端容灾（实时数据保护）的有力保障。目前备份技术主要有快照备份、离线备份、异地存储备份。备份系统通过备份策略，对

21、计算机信息系统的操作系统、文件系统、应用程序、数据库系统等数据集，实现某一时间点的完整拷贝，拷贝的数据处在非在线状态，不能被立刻访问，必须通过相应操作,如恢复等方式使用备份数据。这也解决了高端容灾（实时数据保护）不能解决的问题：人为误操作、恶意性操作等，这类操作，计算机系统是不能区分的，一旦执行，将造成数据中心、灾备中心同时修改；对于数据库系统，在日志方式下，可以通过回滚方式修改，对于文件系统、操作系统等其他配置信息是不能回滚的，将造成毁灭性的结果。因此在建设高端容灾系统的前提，一定要做好本地系统的备份，这是容灾技术的起点。 数据备份是数据高可用的最后一道防线，其目的是为了系统数据崩溃时能够快

22、速的恢复数据。虽然它也算一种容灾方案，但这种容灾能力非常有限，因为传统的备份主要是采用数据内置或外置的磁盘机进行冷备份，备份磁盘同时也在机房中统一管理，一旦整个机房出现了灾难，如火灾、盗窃和地震等灾难时，这些备份磁盘也随之销毁，所存储的磁盘备份也起不到任何容灾功能。 双机热备的备份方式面对灾难各大容灾厂商首先所提出的容灾解决方案就是双机热备技术。双机热备技术是基于应用切换的原理即整个容灾系统由两套业务系统和共享一个存储阵列所构成。一但主服务器出现异常或故障，备份服务器立刻接管主服务器的应用。也就是目前通常所说的 active/standby 方式，主要通过纯软件切换的方式实现双机容错。因为两台

23、服务器共享一个磁盘阵列上的数据，所以当磁盘损坏的时候就造成两台服务器都不可用，这样就达不到容灾的效果。而且通过纯软件来切换的话存在误切换的情况，就是当主服务器还是正常的时候就把业务系统的连接切换到备用服务器上，这就会造成业务系统的暂时停顿等问题。 双机双存储 双机双存储即在双机热备的基础上增加一套存储，实现应用层的切换和底层数据的不间断复制。其工作原理与双机热备类似。数据库若要能够正常启动，必会先检测其数据文件，日志文件，控制文件等一系列文件的完整性，才可以正常启动。对于双机双存储的存储层复制来说是文件层复制，他们无法做到检测数据的一致性，一旦双机双存储发生的是逻辑错误时，无论是主服务器还是备

24、用服务器都将无法启动。 容灾不是简单备份 真正的数据容灾就是要避免传统冷备份的先天不足，它能在灾难发生时，全面、及时地恢复整个系统。容灾按其容灾能力的高低可分为多个层次，例如国际标准 SHARE78 定义的容灾系统有七个层次：从最简单的仅在本地进行磁盘备份，到将备份的磁盘存储在异地，再到建立应用系统实时切换的异地备份系统，恢复时间 也可以从几天到小时级到分钟级、秒级或 0 数据丢失等。1.6.2 灾备方案的关键指标 RTO （Recovery Time Object）RTO即恢复时间目标：是指“将信息系统从灾难造成的故障或瘫痪状态恢复到可正常运行状态，并将其支持的业务功能从灾难造成的不正常状态

25、恢复到可接受状态”所需时间，其中包括备份数据恢复到可用状态所需时间、数据处理系统切换时间、以及备用网络切换时间等，该指标用以衡量容灾方案的业务恢复能力。 RPO （Recovery Point Time）RPO即数据恢复点目标：是指业务系统所允许的灾难过程中的最大数据丢失量（以时间来度量），这是一个与数据备份系统所选用的技术有密切关系的指标，用以衡量灾难恢复方案的数据冗余备份能力。 容灾半径容灾半径是指生产中心和灾备中心之间的直线距离，用以衡量容灾方案所能防御的灾难影响范围。显然，具有零 RTO、零 RPO 和大容灾半径的灾难恢复方案是用户最期望的，但受系统性能要求、适用技术及成本等方面的约束

26、，这种方案实际上是不大可行的。所以，用户在选择容灾方案时应该综合考虑灾难的发生概率、灾难对数据的破坏力、数据所支撑业务的重要性、适用的技术措施及自身所能承受的成本等多种因素，理性地作出选择。1.6.3 常见的备份策略备份策略 描述 Full Backup 完全备份 是每次对系统进行完全的备份。当数据发生数据丢失灾难时。完全备份所需要的时间最长和消耗的磁带最多，但恢复时间最短和操作最方便。 Incremental Backup 增量备份 是备份上一次全备份或者增量备份系统发生改变的数据。这种备份策略的优点时节省了磁带空间，缩短了备份时间。其缺点在于当灾难发生时，数据的恢复比较麻烦而且可靠性比较差

27、。其中任何一盘磁带出现问题都会影响之后的磁带恢复。 Differential Backup 差量备份 是备份上一次全备份后到系统发生改变过的文件。其优点是无需要每天对系统做完全备份，备份所需要时间短并且节省了磁带空间。它的灾难恢复也很方便。系统管理员只需要全备份和增量备份的介质就可以进行系统的恢复。 Synthetic Backup 合成备份 是当备份窗口较短时进行。在进行合成备份的时候，会从完全备份、增量备份和差量备份中读取信息，然后创建一个新的完全备份。这种完全备份可以离线进行且网络还是在继续使用，不会降低系统性能或者妨碍网络中的用户。 差异增量备份（Differential Increm

28、ental Backup）：此备份主要在于每次备份的内容是从上次0级或1级备份以来发生改变的内容。 累积增量备份（Cumulative Incremental Backup ）：此备份主要在于每次备份的是从上次0级备份以来发生改变的内容。 容灾适应性指的是容灾系统在实施和使用的过程中对原有的生产系统、硬件系统、网络系统的影响，有的容灾系统可能需要冻结原有的生产系统的情况下进行数据的复制，有点容灾系统可能要对硬件、网络环境进行改造，改造成系统所要求的条件。这些对改造对原有的系统和数据都存在一定的风险性。 容灾可见性指的是容灾系统的容灾效果是不是可见、可查询的。有的容灾系统的容灾效果要等灾难发生之

29、后，备用系统恢复之后才能验证是不是真做到了数据零丢失的效果。如果数据复制失败不能马上反应出来同样达不到容灾的效果。所以容灾系统的核心问题：能否构建一个绿色容灾系统，在实施和使用过程中不会影响原生产系统，无需改造硬件和网络环境，其容灾结果的好与坏又实时可见、可验证。1.6.5 容灾的实现方式通常，应用服务器通过SAN访问存储资源。针对SAN共享存储模型进行了进一步的细化，把SAN存储分为： 应用层 文件/记录层 块管理 物理存储设备如下图所示。SNA共享存储模型因此，可以从文件/记录层、块管理层来实现容灾。根据容灾的发起端来进行划分，容灾可分为： 数据库级容灾：基于数据库的容灾技术传输的是SQL

30、指令或者重作日志文件。如Oracle数据库自带的Data Guard 技术。 卷管理级容灾：基于主机卷管理软件的容灾技术可以选择同步或者异步复制方式。存储目标数据的逻辑卷不能被业务系统所使用，属于冷容灾方式。如VERITAS VVR远程数据复制软件。 网络级容灾：网络级容灾主要是指基于虚拟存储技术的容灾。例如IBM的 PPRC、 EMC 的Mirrorview、HDS 的Truecopy复制技术。 存储设备级容灾：通过存储控制器实现的设备级数据远程镜像或复制是传统容灾方式中最高效最可靠的方式。 基于磁盘系统的同步数据复制功能可实现异地数据的容灾。 虚拟化存储产品实现远程复制 远程镜像技术远程镜像技术是在主数据中心和备援中心之间的数据备份时用到。远程镜像又叫远程复制，是容灾备份的核心技术，同时也是保持远程数据同步和实现灾难恢复的基础。远程镜像按请求镜像的主机是否需要远程镜像站点的确认信息，又可分为同步远程镜像和异步远程镜像。同步远程镜像(同步复制技术)是指通过远程镜像软件，将本地数据以完全同步的方式复制到异地，每一本