运维手册是以文档或可执行逻辑形式记录的规程,用于运行、维护或恢复计算系统。它规定任务的适用条件、需要执行的操作,以及判断操作是否成功所需的检查。运维手册是一种软件文档,用于日常管理、计划维护和安全事件响应。它可以由人员手动遵循,也可以自动执行,或将自动化步骤与人工决策、审批结合起来。
范围与目的
运维手册将运维知识转化为可重复执行的规程。它并非只解释系统如何设计,而是说明如何在特定运维情境下完成某项具体任务。例如,重启服务、续期证书、恢复数据库、更换故障服务器,或调查反复出现的告警。
这个术语既可以指单项规程,也可以指某项服务的一组规程。运维手册没有统一格式:它可以是维基中的一个页面、与应用程序代码一同存储的文档,也可以是由自动化平台执行的工作流。
其主要目的包括:
- **一致性:**明确操作顺序及其预期结果。
- **知识传承:**保存原本可能依赖个人经验的操作规程。
- **运维协调:**明确职责、审批要求和升级处理路径。
- **风险控制:**记录前提条件、可能造成中断的操作,以及恢复方案。
- **可追溯性:**为记录采用了哪项规程以及执行情况提供依据。
这些益处的实现,取决于规程是否准确,以及是否适用于当前系统。仅有文档并不能证明某项操作是安全的。
与其他运维文档的关系
运维手册与其他几种运维文档有所重叠,但侧重点各不相同。
标准操作规程通常描述组织内反复开展的流程,包括职责和政策要求。运维手册一般提供更多针对具体系统的执行细节。两者的区别并无统一标准,有些组织会混用这两个术语。
事件处置预案通常面向更广泛的场景:如何对事件进行分类、协调响应人员、与利益相关方沟通,以及选择响应策略。运维手册可以提供在预案某个阶段调用的具体技术操作规程。在实践中,“处置预案”(playbook)和“运维手册”(runbook)有时也被当作同义词使用。
检查清单主要用于核实是否遗漏了必需事项。运维手册可以包含检查清单,但通常还会描述操作、预期观察结果,以及针对不同结果的处理分支。
架构文档解释系统结构及其依赖关系。运维手册以这些信息为依据,但侧重执行。同样,灾难恢复计划可以确定恢复优先级和协调安排,而将各项具体恢复任务交由运维手册规定。
典型内容
有效的运维手册不仅说明该做什么,还要指出何时不宜采用该规程。常见要素包括:
| 要素 | 作用 |
|---|---|
| 目的与范围 | 定义任务、受影响的服务及预期达成的结果 |
| 启动条件 | 明确适合启动执行的告警、请求或系统状态 |
| 维护责任 | 指定负责维护该规程的团队或角色 |
| 前提条件 | 规定所需权限、工具、网络连接和系统条件 |
| 参数 | 明确与环境相关的输入,例如服务名称或资源标识符 |
| 操作步骤 | 提供有序的操作和条件分支 |
| 预期结果 | 描述每项重要操作应产生的可观察结果 |
| 安全边界 | 明确可能造成中断的步骤、审批要求和停止条件 |
| 恢复措施 | 说明回滚、补偿操作或升级处理方式 |
| 完成标准 | 定义如何确认任务已成功完成 |
| 修订信息 | 记录适用版本、审查情况和验证历史 |
命令需要有足够的上下文,例如,要能区分其针对的是生产环境还是测试环境。如果命令会改变系统状态,规程还可以说明其后果,以及重复执行是否安全。
完成标准尤为重要。命令返回表示成功的退出状态,并不一定意味着服务已经恢复。验证可能需要发起应用层请求、确认数据完整性,或在规定时段内持续观察。
手动、自动化与混合式运维手册
手动运维手册
手动运维手册由操作人员理解并执行。它能够适应需要判断、证据不完整以及情况异常的场景,但其有效性取决于指令是否清晰,以及操作人员具备的访问权限和理解能力。
手动规程通常将诊断性观察与改变系统状态的操作分开。这种区分有助于防止调查步骤意外修改系统。
自动化运维手册
自动化运维手册将部分或全部规程表达为可执行逻辑。它可以调用脚本、管理工具或应用程序编程接口,来检查和修改资源。自动化流程可以按计划运行、响应事件,或由获授权的用户启动。
如果自动化运维手册还管理输入、依赖关系、执行状态、分支、故障处理和结果收集,它就不只是一个命令列表。有些产品专门用 runbook 指称此类可执行的自动化产物。
自动执行能提高重复任务的一致性,但也会让错误反复发生。相关设计特性包括:
- **输入验证:**拒绝缺失、格式错误或不适用的参数。
- **执行边界:**规定超时时间和重试次数上限。
- **可重复执行性:**妥善处理重试,避免无意中重复实施变更。
- **并发控制:**防止针对同一资源的多个执行过程发生冲突。
- **故障处理:**在某一步骤失败时停止执行,或选择明确规定的替代方案。
- **执行记录:**保留审查所需的输入、操作和结果。
在分布式计算系统中,局部故障使这些特性的实现更加复杂。即使调用方始终没有收到确认,请求也可能已在远端成功执行。因此,盲目重试请求可能会意外触发第二次操作。
混合式运维手册
混合式运维手册将定义明确的操作自动化,同时在关键节点保留人工决策。工作流可以自动收集诊断证据,在修改生产资源前请求审批,然后执行变更后检查。
这种安排可以减少重复劳动,同时避免将所有运维决策都视为可以机械判定的事项。
应用
运维手册既支持日常运维,也支持异常事件的处置。
维护规程涵盖软件更新、证书续期、资源规格调整和计划重启等活动。其中可以包含对服务影响的估计和协调要求。
事件处置规程针对可识别的症状或故障模式。例如,请求失败数量上升的告警,可能首先引导操作人员进行检查,以区分应用程序错误与依赖项故障。运维手册不必假定告警本身就能指出根本原因。
备份与恢复规程描述如何创建、验证和还原数据备份。对于数据库恢复,成功执行通常不只是复制文件:规程必须考虑数据库的恢复机制以及目标恢复时间点。
安全规程可以涵盖撤销账户访问权限、收集证据或更换凭据。执行这些规程时,必须遵守访问控制和证据处理要求。
基础设施规程用于管理云计算环境或实体设施中的资源。它可以与基础设施即代码相互补充:配置定义描述预期的基础设施状态,而运维手册则描述实施变更的受控流程,或实际情况偏离预期时的应对方式。
规程结构示例
用于调查不健康的应用实例的运维手册,可以包含以下阶段:
- **确认适用性。**核实受影响的服务、环境和观察到的症状。
- **评估影响。**确定故障影响的是单个实例还是多个实例。
- **收集证据。**保存相关日志、近期变更信息和健康检查结果。
- **检查依赖项。**确定表面上的实例故障是否源于其他环节。
- **选择分支。**如果是大范围故障,则升级处理;否则,继续执行获批的实例级操作。
- **执行操作。**如果系统支持,在重启受影响实例之前,先停止向其分配流量。
- **验证恢复。**在让实例恢复正常服务之前,检查应用程序的运行表现。
- **记录结果。**记录操作、观察结果,以及任何偏离规程的情况。
这只是一个结构示例,并非普遍适用的恢复流程。重启实例可能破坏诊断证据,也可能加剧潜在的容量问题,因此该操作是否合适取决于具体系统。
维护与验证
随着系统、依赖关系、权限和运维实践发生变化,运维手册也需要随之更新。即使文档本身未被修改,原本准确的规程也可能过时。
维护工作通常包括指定负责人、在相关系统发生变更后审查规程,以及吸收事件处置和恢复演练中的发现。将运维手册纳入版本控制,可以跟踪修订,并通过代码审查等流程进行审查。
验证可以包括命令检查、在测试环境中受控执行、模拟事件,以及恢复演练。每种方式提供的证据各不相同。脚本通过语法检查,并不能证明它能恢复服务;而在测试环境中执行成功,也不能证明测试条件与生产条件等同。
运维时能否访问手册同样重要。如果运维手册仅存储在它所要恢复的服务内部,那么在服务中断期间就可能无法访问。因此,对身份系统、网络访问和文档平台的依赖,也构成了该规程自身的运行前提。
局限与安全注意事项
运维手册记录的是已知规程,而不是关于所有可能故障的完整知识。在出现相反证据时仍机械地遵循规程,可能使事件恶化。明确的停止条件和升级处理路径,有助于区分适用范围有限的规程与开放式故障排查指南。
自动化可能将一个错误假设的影响扩散到大量资源。设置审批关卡、限制执行范围和分阶段执行,可以降低风险暴露,但不能免除对底层逻辑的验证。
运维手册还可能包含敏感的运维信息。凭据通常应通过受控的获取机制引用,而不是直接嵌入文档或脚本。自动执行所使用的身份权限可以依据最小权限原则加以限制,同时还需要保护日志,防止其中的秘密信息泄露。
回滚也有局限。撤销一项配置变更,并不等于消除它的全部影响:已删除的数据、已对外发送的消息,或不兼容的数据库变更,可能需要通过恢复或补偿操作来处理。运维手册的恢复部分必须区分这些情况,而不能假设每个已完成的步骤都有简单的逆向操作。