E7 · 出版卷 29
AI 的适用与不适用场景
提取、分类、检索与推理边界
*提取、分类、检索与推理边界*
学习目标与边界
本课是通用、机构中立内容,不使用任何真实公司、个人、矿权、项目或可识别地点。通用角色只描述职责,每个 SYN-AI 标识符都明确表示合成教学证据。
- 界定由“提取、分类、检索与推理边界”治理的决策。
- 区分生成建议、合格证据、确定性结果与负责任判断。
- 定义可测失败、弃答、升级与发布条件。
- 基于合成证据产出一份 AI 任务适用性与专业边界登记表并为其控制辩护。
决策与专业边界
只有在明确决策、合格证据与错误后果之后,才考虑使用 AI。对已声明表格做字段提取、依据经审核词汇进行分类、在有界语料中检索,且输出能够回查源记录时,可以成为合适场景。开放式地质判断、安全关键批准、公开资源量陈述以及无法检查证据的结论,均不得委托给语言模型。系统可以汇集证据并提出备选方案;负责任的领域判断始终位于模型边界之外。
适用性属于完整任务配置,而不是某个模型名称。同一种能力用于起草检索词时后果较低,用于改变地质域边界时后果可能很高。必须评估可逆性、错误可检测性、证据完整度、所需专业能力与独立审核条件。如果确定性规则、数据库约束或普通检索已经能够解决任务,就以更简单的控制作为基线。
核心概念
| 概念 | 运行含义 | |---|---| | 决策支持 | 系统为人工决策组织证据,但不取得专业判断权。 | | 有界任务 | 输入、输出、词汇、语料、工具与失败后果均有明确限制。 | | 确定性基线 | 用更简单、可复现的方法判断 AI 是否带来可测增益。 | | 弃答 | 证据或控制条件不满足时,安全输出是不形成结论。 | | 后果等级 | 审核与发布控制随潜在损害、不可逆性和暴露范围而增强。 |
证据模型
把任务表示为“请求—证据集—受控变换—候选输出—核验结果—人工处置”的链。每次转换都记录输入身份与版本、规则或模型配置、工具调用和拒绝原因。可用结果不只是语言流畅,还必须保留足够状态,使审核者能够重建任务为何被接受、答案如何被限制,以及哪些条件本应触发弃答。
受控工作流
- 写明受支持的决策与明确禁止的决策。
- 列出合格证据、不可用证据与所需领域能力。
- 在加入概率行为前实现确定性或人工基线。
- 划分后果、可逆性、暴露范围与错误可检测性。
- 定义弃答、升级与独立审核触发条件。
- 相对基线比较证据质量、错误模式与资源消耗。
每一步都输出版本化制品或明确失败。后续阶段只消费前一阶段经过验证的输出;对话上下文绝不能成为未记录的数据通道。
测量与验收准则
用任务特定正确率、证据覆盖率、弃答质量与审核负担相对基线衡量价值。分别报告接受、拒绝与升级案例的比率。如果严重错误集中在高后果子集,较高平均分不能证明适用。验收要求:合成高后果集合中不得发布无来源主张,每次弃答都必须有处置记录。
$R_{task}=P(error)\times C(error)\times E(exposure)$
| 关口 | 必需证据 | 发布后果 | |---|---|---| | 身份 | 可解析的主张、来源、配置与结果 ID | 任一身份含混即阻断 | | 依据 | 每项事实主张均到达充分来源片段 | 移除或扣留无来源主张 | | 独立性 | 血缘与分区检查证明无循环或目标信息 | 使受影响支持与评分失效 | | 审核 | 必需角色处置精确候选版本 | 候选保持未发布 | | 可复现性 | 清单、工具与检查能够重建证据包 | 退回数据包修正 |
主张—来源与系统合同
任务合同写明决策责任角色、允许操作、语料边界、输出模式、必需引文、最高后果等级、拒绝条件与审核状态,并明确生成文本只是候选制品。发布关口必须独立于生成组件检查该合同。
安全、隐私与访问边界
从最小证据包的只读访问开始。探索性工作流不得接触凭证、无限制网络、未公开个人数据或可写运行工具。文档中的文字是不可信内容,不是指令。高后果动作必须由另行授权的控制器执行,并取得明确人工批准。
人工审核与升级
审核者先检查任务是否适用,再检查证据与输出。如果任务越过专业边界,在考虑措辞质量之前就应停止。批准必须指向候选版本的精确身份,责任不会转移给系统。
合成案例详解
SYN-AI 含 240 条合成区间描述和一套经审核的六类蚀变词汇。基线使用精确术语与确定性优先级规则。候选分类器只有在引用决定性短语、报告词汇版本并通过矛盾检查时才能提出类别。某区间写着“弱浅色云母,成因不确定”,且缺少规定的观测置信度。模型虽然提出类别,合同仍扣留结果并送交审核。真正有用的行为是受控弃答,而不是看似合理的标签。
反例与失败分析
直接从混合笔记生成措辞漂亮的钻探靶区排序,即使每句话都像地质描述,也是不适用场景。该请求隐藏了竞争目标、缺失成本、不一致坐标参考与专业批准要求。生成后补一段免责声明不能修复无边界决策。任务必须拆成证据提取、明确假设、确定性计算与负责任审核。
常见失败模式
- 把语言流畅当作正确证据
- 让实验工作流写入运行记录
- 只评价平均正确率
- 把免责声明当成控制
- 把模型拒答当成完整风险策略
实践练习
- 把无边界的“解释这个远景区”请求改写为三个有界支持任务。
- 为提取、分类、检索与专业判断建立适用性矩阵。
- 定义一个确定性基线,以及保留 AI 组件的一项可测理由。
- 设计一份无需原对话即可审核的弃答记录。
考核制品
提交一份 AI 任务适用性与专业边界登记表,并附来源清单、配置版本、验收证据、被拒案例、未解决风险,以及未选择某个合理备选控制的简要理由。如果图示或文字无法与机器可检查证据核对,制品即不完整。
验证检查点
把一项已发布合成主张逆向追踪,经过审核、置信、核验、证据图、工具结果或来源片段,直到不可变输入;再把一项被拒主张追踪到最早失败合同。根据清单重跑数据包并比较内容摘要。只有另一位审核者无需原对话即可重建接受与阻断路径、识别所有假设并复现发布决定,检查点才通过。对未解决风险应如实记录,不能用生成文字补全缺失事实。
来源
- 《人工智能风险管理框架 1.0》, 用于在全生命周期治理、映射、测量与管理情境相关 AI 风险的框架。
- 《生成式人工智能风险管理配置文件》, 覆盖生成式系统特有风险与控制的跨行业配置文件。
- ISO/IEC 23894:2023 人工智能风险管理指南, 将 AI 特定风险管理纳入活动与决策的指南。
- ISO/IEC 25059:2023 人工智能系统质量模型, 用于规定和评价人工智能系统质量特征的词汇体系。