E6 · 出版卷 28

故障恢复与运行可观测性

损坏、部分作业、回滚、指标与告警

*损坏、部分作业、回滚、指标与告警*

学习目标

本课是通用、机构中立内容，不使用任何真实公司、个人、矿权、项目或可识别地点。通用角色只描述职责，SYN-ARCH 标识符明确表示合成教学证据。

界定由“损坏、部分作业、回滚、指标与告警”治理的决定。
在选择实现前建立相关边界、状态与合同模型。
定义可测不变量、故障证据与安全发布后果。
基于合成证据产出一份经过测试的恢复手册与以决定为中心的可观测性规范并为其权衡辩护。

决策边界

应依据受到风险影响的决定或证据定义故障。组件可用性有用但不充分：服务可以响应，却返回陈旧、部分或损坏证据。对每类故障定义检测、遏制、安全状态、恢复来源、恢复目标、验证与责任角色。只有数据与合同兼容时，回滚才恢复上一已验证系统或别名；否则使用向前纠正或隔离重建。可观测性为诊断与控制提供证据，不能替代明确完整性检查与恢复测试。

核心概念

日志描述离散事件，指标汇总测量总体，追踪连接跨边界工作；三者都需要稳定资源、版本与关联语境。症状不同于原因；告警应说明被违反的决定目标并连接证据，而不是声称未经验证的诊断。恢复点目标约束声明服务与条件下可接受的保留数据损失，恢复时间目标约束恢复延迟。它们是带后果的设计输入，不是愿望数字。备份、副本、检查点与不可变来源包覆盖不同故障模式，均需恢复证明。

系统模型与合同

建立故障目录，覆盖依赖不可用、队列延迟、重复事件、部分写入、对象缺失、摘要不符、模式不兼容、陈旧缓存、检查点损坏、政策错误与误导输出。把每项连接到检测信号、严重级别、受影响决定、遏制、操作手册、恢复来源、验证测试与升级。遥测记录服务和操作身份、环境、版本、请求或运行关联、状态、时长、结果类别与有界属性。恢复清单列出恢复制品、来源版本、流程版本、验证发现与别名移动。

不变量与验收标准

| 不变量 | 测试证据 | 发布后果 | |---|---|---| | 健康状态反映可正确支持决定的证据，而不只反映进程运行。 | 合同测试与反例记录 | 阻止发布 | | 每条告警把被违反目标连接到有界诊断证据。 | 回放比较与摘要检查 | 隔离制品 | | 恢复使用声明来源，同时验证科学与技术完整性。 | 基于角色的验收追踪 | 把决定返回为未解决 | | 重新发布前协调部分作业与别名移动。 | 故障注入与恢复记录 | 保留上一已验证版本 | | 事件假设始终与已确认发现分离。 | 依据声明证据的领域审查 | 记录明确评审发现 |

量化工程

可用性应依据能正确支持决定的响应定义，而不只依据进程运行时间。按类别报告错误与拒绝率、延迟百分位、队列年龄、陈旧结果数、摘要失败、追踪完整度、告警精度、检测延迟、遏制延迟与已验证恢复时长。实测数据损失窗口与声明恢复点目标比较，恢复时长与声明恢复时间目标比较。消耗或趋势量度必须针对声明目标与窗口使用。一次成功恢复不能建立分布，因此要保留重复演练证据与条件。

数据质量、证据与不确定性

恢复证据来自受控故障注入与隔离恢复，而不是存在一个“备份”标签。演练缺失和损坏成员、部分工作流输出、不兼容模式、错误别名、事件丢失、身份政策不可用、陈旧缓存，以及适用时的区域或节点级损失。验证恢复后的身份、摘要、参考、单位、版本图、批准状态、权限与决定输出。保留时间线、命令或动作、清单、遥测与审查发现。合成事件用于教学流程，不能确定真实事件概率。

互操作性与版本

遥测合同定义信号名称、单位、总体、维度、版本、采样、保留与隐私边界。追踪语境跨越客户端、服务、作业与存储工作，但不携带秘密。告警合同定义目标、查询、阈值或条件、评估窗口、严重级别、路由角色、抑制、证据链接与解决规则。操作手册在安全处采用版本化可执行流程，其余采用经过评审的指令。恢复合同声明事实来源、顺序、幂等性、兼容检查、验证与回滚或向前修复边界。

安全与专业责任

遥测与恢复系统常聚合敏感身份、范围与故障细节，因此应用最小权限、最小收集、完整性与保留控制。关联值不透明且有范围。日志拒绝秘密并清理不可信文本，防止注入或误导记录。备份与恢复制品继承来源分类，并在受限身份下测试。事件访问临时且受审计。不能仅因可用性紧迫就在恢复时绕过授权、批准历史或证据完整性。

运行流程与可观测性

事件期间，在检测、分诊、遏制、纠正、恢复与验证过程中保留证据。把假设与已确认发现分开记录。完整性不确定时冻结或重定向发布，同时向受影响消费端显示状态。恢复后协调每个部分作业与别名，回放遗漏事件，验证缓存并比较决定输出。复盘更新故障目录、测试、告警、操作手册与架构决定。只有受影响证据经过验证且未解决后果被明确分配后，事件才可关闭。

集成检查点

把“故障恢复与运行可观测性”制品连接到本卷前面的架构。追踪一个合成对象从来源身份穿过新边界到达已审查输出，再把一个拒绝或故障追溯到最早被违反的不变量。更新架构决定记录，写明所选方案、备选方案、假设、证据、后果、责任角色、评审状态与重新考虑触发条件。只有另一位审查者无需口头说明即可重建成功路径与阻断路径，检查点才通过。

合成案例

SYN-ARCH-12 的进程指标显示健康，但一个对象上传被截断，清单别名已提前移动，消费端收到部分模型。修订发布路径在原子移动别名前验证成员长度与摘要。追踪连接上传、验证、清单与请求。故障注入重现部分写入；告警命名“发布包完整性”，而不是笼统存储健康。恢复把别名退回上一已验证清单，隔离候选，回放作业，并在重新开放发布前证明恢复后的模型、权限与版本历史。

练习与考核

哪项决定或证据不可用、陈旧、部分或损坏？
哪些目标、信号与验证区分症状和原因？
哪些恢复来源与兼容检查可恢复安全状态？
重新开放发布前必须协调哪些证据？

考核制品：一份经过测试的恢复手册与以决定为中心的可观测性规范。提交时附来源清单、验收证据、未解决风险，并简要说明为何没有选择一个合理备选方案。

常见失败模式

把进程运行时间等同于可信科学可用性。
未经恢复测试就假设副本或备份可恢复。
对症状告警却声称未经验证的根因。
回滚代码却不检查数据与合同兼容性。
在受影响证据与别名协调前关闭事件。

来源与延伸阅读

OpenTelemetry 规范，定义可互操作的追踪、指标、日志、资源与上下文传播。
W3C 追踪上下文，定义传播分布式请求身份的 HTTP 头字段。
NIST SP 800-61 Rev. 3 事件响应建议，把准备、检测、响应与恢复纳入风险管理。
NIST SP 800-53 Rev. 5 控制目录，涵盖访问控制、审计、配置、恢复与系统完整性。
RFC 9530 摘要字段，定义 HTTP 消息的内容摘要与表示摘要。