E7 · 出版卷 29
盲法与保留集验证
冻结预测、独立证据与评分
*冻结预测、独立证据与评分*
学习目标与边界
本课是通用、机构中立内容，不使用任何真实公司、个人、矿权、项目或可识别地点。通用角色只描述职责，每个 SYN-AI 标识符都明确表示合成教学证据。
- 界定由“冻结预测、独立证据与评分”治理的决策。
- 区分生成建议、合格证据、确定性结果与负责任判断。
- 定义可测失败、弃答、升级与发布条件。
- 基于合成证据产出一套封存保留规程、冻结提交与独立验证报告并为其控制辩护。
决策与专业边界
保留验证检验完整工作流在未能影响其设计的证据上表现如何。揭示前冻结任务定义、预测、检索配置、工具、阈值与评分；评价案例、标签及其来源派生物必须与开发索引和日志隔离。由独立角色控制揭示并记录精确提交包。
地学依赖意味着不能只随机拆分行。邻近样本、重复区间、共享来源文档与后续版本都可能跨分区泄漏信息。应根据主张按地质对象、空间区块、时间、采集批次或来源血缘分组。保留集既要类似预期用途，又要足够独立以检验泛化。
核心概念
| 概念 | 运行含义 | |---|---| | 盲法条件 | 开发者在提交前不能访问结果标签或决定性证据。 | | 保留单元 | 为防止相关证据跨分区而成组的独立对象。 | | 冻结提交 | 按内容寻址的工作流、预测与配置数据包。 | | 揭示事件 | 提交之后受控、带时间戳地释放证据或标签。 | | 前瞻验证 | 在未来证据取得或可用前登记预测。 |
证据模型
验证包存储分区清单、排除证明、冻结提交摘要、揭示授权、运行日志、预测、弃答、分数、裁决与失败分析。保留管理角色保存隐藏标签与来源证据的关系。评分后可以向开发提供错误类别，但任何再训练或阈值变化都会创建新系统版本。
受控工作流
- 定义预期总体、保留单元与依赖组。
- 从所有开发路径移除保留对象及其派生物。
- 冻结工作流、预测、阈值、指标与失败分类。
- 向独立揭示角色提交签名清单。
- 运行一次，捕获输出并在无隐藏人工修正下评分。
- 分析失败、签发新版本并为重测保留新证据。
每一步都输出版本化制品或明确失败。后续阶段只消费前一阶段经过验证的输出；对话上下文绝不能成为未记录的数据通道。
测量与验收准则
预先声明主要与次要指标、子组分析、缺失输出处理与不确定性。按需报告主张正确性、引文支持、检索召回、校准、覆盖率、严重错误率与审核负担。一个汇总分数不能隐藏灾难性子组。重复使用会消耗保留集，不能一边调优一边继续称其为盲法。
$\Delta_{gen}=M_{holdout}-M_{development}$
| 关口 | 必需证据 | 发布后果 | |---|---|---| | 身份 | 可解析的主张、来源、配置与结果 ID | 任一身份含混即阻断 | | 依据 | 每项事实主张均到达充分来源片段 | 移除或扣留无来源主张 | | 独立性 | 血缘与分区检查证明无循环或目标信息 | 使受影响支持与评分失效 | | 审核 | 必需角色处置精确候选版本 | 候选保持未发布 | | 可复现性 | 清单、工具与检查能够重建证据包 | 退回数据包修正 |
主张—来源与系统合同
验证合同声明总体、保留单元、独立性理由、分区摘要、禁止访问路径、冻结时间、提交内容、揭示权限、指标、裁决规则与复用政策。如果任何携带结果信息的派生物进入开发，即使原始标签文件仍隐藏，测试也失效。
安全、隐私与访问边界
把保留证据存放在独立访问域，使用专用服务身份与审计日志，并禁止搜索索引。防止文件名、数量、预览、缓存键与错误消息泄露标签。只有在核验提交摘要已承诺后，才揭示最小必需材料。
人工审核与升级
独立审核者验证分区构建、访问日志、冻结配置与评分代码。领域裁决尽可能依据查看前设定的规则解决模糊结果。最终报告区分预先规定分析与事后探索分析，并同时保留。
合成案例详解
一个合成接触预测工作流在空间区块 A–D 上开发。区块 E 及所有提及其隐藏接触关系的派生物被封存。揭示前，工作流为 E 的每个单元提交接触存在、位置容差与弃答预测。评分显示总体准确率良好，但某类边界附近校准较差。团队记录失败、修改证据特征，并保留新空间区块，而不是把 E 再次当作全新保留集评分。
反例与失败分析
数据行被随机分成训练与测试集，尽管邻近区间属于同一合成钻孔并共享一份解释记录。测试分数主要测量局部模式记忆。把这些行称为“未见”并不能让证据独立；保留单元必须遵循与主张相关的信息路径。
常见失败模式
- 随机拆分相互依赖的地质记录
- 让保留派生物留在检索索引
- 揭示后改阈值却不建新版本
- 只报告一个汇总分数
- 把已消耗保留集再次当作盲证据
实践练习
- 为三种地学任务选择可辩护的保留单元。
- 绘制隐藏结果可能泄漏到检索的每条路径。
- 编写冻结提交清单与揭示事件。
- 区分预先规定评分与事后诊断分析。
考核制品
提交一套封存保留规程、冻结提交与独立验证报告，并附来源清单、配置版本、验收证据、被拒案例、未解决风险，以及未选择某个合理备选控制的简要理由。如果图示或文字无法与机器可检查证据核对，制品即不完整。
验证检查点
把一项已发布合成主张逆向追踪，经过审核、置信、核验、证据图、工具结果或来源片段，直到不可变输入；再把一项被拒主张追踪到最早失败合同。根据清单重跑数据包并比较内容摘要。只有另一位审核者无需原对话即可重建接受与阻断路径、识别所有假设并复现发布决定，检查点才通过。对未解决风险应如实记录，不能用生成文字补全缺失事实。
来源
- 人工智能技术评价， 旨在减少训练—测试污染的隔离评测模式。
- 共享检索评测实施方法， 把开发证据与保留评测判定分开的实践模式。
- 《信息泄漏与机器学习科学的可复现性危机》， 科学机器学习中信息泄漏路径的证据型分类。
- 《严格适当评分规则、预测与估计》， 评价概率陈述且不奖励策略性置信表达的形式基础。