E7 · 出版卷 29
文档与数据依据构建
分块、表格、图件、元数据与引文
*分块、表格、图件、元数据与引文*
学习目标与边界
本课是通用、机构中立内容，不使用任何真实公司、个人、矿权、项目或可识别地点。通用角色只描述职责，每个 SYN-AI 标识符都明确表示合成教学证据。
- 界定由“分块、表格、图件、元数据与引文”治理的决策。
- 区分生成建议、合格证据、确定性结果与负责任判断。
- 定义可测失败、弃答、升级与发布条件。
- 基于合成证据产出一套带可解析引文的版本化文档与数据依据包并为其控制辩护。
决策与专业边界
依据构建发生在检索之前。把每个来源转换为可寻址证据时，不能破坏文档结构、单位、表头、图注、坐标参考或版本语境。分块只是检索地址，不是独立科学事实；其含义可能依赖前文定义、表格脚注、地图图例或图件比例尺。必须显式保留这些依赖，使后续引文能够解析到精确来源表示。
核心决策是：候选主张能否在稳定、可访问的来源片段及其周边证据中核查。光学提取、表格解析与图像描述会产生派生制品，但不能替代源对象。应同时保存源对象与变换记录，包括失败、页面几何和置信警告。
核心概念
| 概念 | 运行含义 | |---|---| | 源对象 | 具有身份、许可、版本与校验摘要的不可变文件、数据集或图像。 | | 证据片段 | 指向来源表示的稳定地址，且包含足以核验主张的语境。 | | 结构依赖 | 指向标题、表头、图例、脚注、图注、单位或坐标参考的关系。 | | 派生提取 | 通过已声明变换从来源生成的机器可读文本或单元格。 | | 引文定位符 | 可解析到来源版本、页或对象、区域与所选片段的标识。 |
证据模型
使用双层证据包。保存层存放不可变原件与访问元数据；工作层存放文本片段、表格单元格、图像区域、派生描述及其回指保存层的关系。每个工作项声明内容类型、语言、计量单位、时空范围、提取方法与审核状态。父子链接使检索到的段落继续连接到定义其术语的章节。
受控工作流
- 登记来源身份、版本、访问条件与校验摘要。
- 呈现文本、表格与图件，同时保留页面或对象几何。
- 按语义边界建立检索单元并保留父级语境。
- 把单位、坐标参考、图例、图注与脚注挂接为依赖。
- 依据合计、范围、模式与可见源区域验证提取值。
- 签发引文定位符并记录变换来源追溯。
每一步都输出版本化制品或明确失败。后续阶段只消费前一阶段经过验证的输出；对话上下文绝不能成为未记录的数据通道。
测量与验收准则
测量引文可解析性、结构完整度、单元格级提取准确率与语境充分性。抽样必须覆盖文本、表格与图件，不能只评价普通段落。对于一组必需依赖，依据完整度是已保留且可解析依赖所占比例。每个发布主张都必须解析到来源片段，原始对象仍可打开，且版本与主张记录一致。
$G=\frac{N_{preserved\ dependencies}}{N_{required\ dependencies}}$
| 关口 | 必需证据 | 发布后果 | |---|---|---| | 身份 | 可解析的主张、来源、配置与结果 ID | 任一身份含混即阻断 | | 依据 | 每项事实主张均到达充分来源片段 | 移除或扣留无来源主张 | | 独立性 | 血缘与分区检查证明无循环或目标信息 | 使受影响支持与评分失效 | | 审核 | 必需角色处置精确候选版本 | 候选保持未发布 | | 可复现性 | 清单、工具与检查能够重建证据包 | 退回数据包修正 |
主张—来源与系统合同
依据记录包含来源 ID、来源版本、校验摘要、媒体类型、定位符、提取内容、父级语境、单位、坐标参考、提取活动、验证状态与访问规则。如果缺少定位符、所选区域不含被断言数值，或必需图例与脚注被分离，引文即无效。
安全、隐私与访问边界
依据构建不能让受限内容比其来源更易访问。原始对象的访问标签必须传播到每个提取片段、索引条目与缓存。文档中嵌入的指令、链接与脚本应作为内容隔离或安全呈现。脱敏必须通过版本化变换完成，并保持与受保护原件的可审计关系。
人工审核与升级
审核者应检查有代表性的困难页面：多级表头、旋转标注、带图例地图、扫描页与冲突版本。审核对象是依据构建方法和异常政策，而不是每段流畅提取。重大提取失败在解决或明确排除前必须阻断下游生成。
合成案例详解
一页合成报告包含区间长度表、说明缺口被排除的脚注，以及垂向比例尺不同于平面比例尺的剖面图。朴素分块只保存表体，导致后续答案把钻探总长当成取样长度。修正后的证据包把每个单元格连接到表头与脚注，记录两个比例尺并保留页面图像。候选主张现在同时引用取样长度单元格与排除脚注。
反例与失败分析
按固定字符数切分并只保存向量，不是证据保存。它丢失精确文本、页面位置、表格结构，也无法证明使用了哪个来源版本。相似度检索仍可能返回看似合理的片段，但审核者无法区分完整引文与语义相似的孤立片段。
常见失败模式
- 把分块当作自足事实
- 丢失表头或脚注
- 引用派生文本却不保留原始来源
- 忽略来源版本冲突
- 索引受限片段却不继承访问规则
实践练习
- 为表格单元格及其脚注设计定位符。
- 在一页合成材料上比较语义边界分块与固定长度分块。
- 建立同时包含文本、表格与图件区域的验证样本。
- 规定访问标签如何从源对象传播到缓存检索单元。
考核制品
提交一套带可解析引文的版本化文档与数据依据包，并附来源清单、配置版本、验收证据、被拒案例、未解决风险，以及未选择某个合理备选控制的简要理由。如果图示或文字无法与机器可检查证据核对，制品即不完整。
验证检查点
把一项已发布合成主张逆向追踪，经过审核、置信、核验、证据图、工具结果或来源片段，直到不可变输入；再把一项被拒主张追踪到最早失败合同。根据清单重跑数据包并比较内容摘要。只有另一位审核者无需原对话即可重建接受与阻断路径、识别所有假设并复现发布决定，检查点才通过。对未解决风险应如实记录，不能用生成文字补全缺失事实。
来源
- 《面向知识密集型自然语言处理任务的检索增强生成》， 区分参数化生成与检索式非参数证据的原始论文。
- PROV-O 来源追溯本体， 描述实体、活动、责任角色与派生关系的标准模型。
- 数据质量词汇， 描述质量测量、维度、政策与注释的词汇。
- 《数据集说明书》， 记录数据集动机、组成、采集、使用与维护的文档模式。