E2 · 出版卷 24

元数据与数据字典

字段定义、值域、坐标参考系、单位、责任角色与质量

学习目标

  • 解释为什么字段定义、值域、坐标参考系、单位、责任角色与质量需要显式语义建模。
  • 设计在交换过程中保留“元数据与数据字典”含义的身份、关系与约束。
  • 区分硬性发布质量门、诊断指标与解释选择。
  • 使用合成证据产出一份可支持双语发布的元数据记录与机器可测试字段字典。

只有当学习者能够为模型和发布决定同时辩护时，本章才算完成。没有证据、测试或声明限制的整洁模式仍是未经验证的设计。考核成果必须让假设可见，并区分来源主张与派生结论。

决定情境

文档应让使用者无需私下询问也能获得必需信息。资源元数据回答是什么、在哪里、何时、为何、如何以及受何种约束；字段定义准确回答每个值的含义与有效范围。二者都必须与所描述数据一起版本化。

从决定记录开始：写明预期用途、所需证据、错误后果、可接受不确定性以及有权接受残余风险的角色。随后检查拟议模型能否在不依赖文件名惯例、行顺序、无文档默认值或个人记忆的情况下回答决定问题。这样可避免技术选择掩盖缺失的语义要求。

同一记录可能适合一种用途而不适合另一种用途。快速探索视图可以容忍正式交换发布不能接受的条件。因此，适用性应针对用途、契约版本与质量门声明，而不能永久贴在数据上。

核心概念

元数据使资源可发现、可解释；数据字典使字段可测试。有效文档把资源级目的与范围连接到字段级定义、类型、单位、值域、空值政策、坐标参考、质量规则和责任角色。

本章工作范围是字段定义、值域、坐标参考系、单位、责任角色与质量。对范围内每个项目，都要区分对象本身、来源使用的标签、关于它的主张以及承载主张的记录。身份不等于显示名称，数值不等于单位，观测不等于模型，“当前”也不等于“有效”。这些区分为更正、不确定性与竞争解释提供明确位置。

良好的语义设计应先能用句子解释，再进行编码。每个句子都识别主语、属性或关系、宾语或结果，以及主张成立的上下文。物理表和文件是这些句子的投影，而不是含义来源。

语义模型

资源级可记录标识符、标题、描述、目的、时空范围、更新政策、分发、许可或访问声明、来源与联系角色。字段级可记录稳定字段标识符、标签、定义、数据类型、基数、单位、值域、值状态政策、示例、验证和变更历史。

用七个问题检验每种拟议记录：什么具有身份？它是什么类型？主张了哪个属性或关系？适用哪些时空上下文？哪个状态或限定符修饰主张？哪些证据支持它？哪个版本和活动产生了当前存储表示？缺失答案都应成为显式契约缺口。

规范化用于分离独立事实，而不是追求最多表数。只要身份、约束与来源保持显式，紧凑嵌套对象也可以语义健全；相反，如果关系和单位只存在于文档或应用代码中，即使高度规范化的数据库仍可能含糊。

约束与不变量

| 不变量 | 可执行或审查测试 | | --- | --- | | 定义可操作 | 字段定义能够转化为示例与验证规则。 | | 字段身份跨更名保持 | 标签可以改变，稳定字段标识符持续存在。 | | 坐标参考完整 | 在相关时声明水平与垂直参考、轴、单位和历元。 | | 质量有适用范围 | 声明度量、结果、评价方法、日期与适用范围。 |

不变量是在存储、导出、更正与再处理过程中必须始终成立的条件。应尽可能在权威边界实施，并在交换边界重复检查。记录规则标识符、版本、严重级别、评价范围、观测值与结果，使失败可复现。

硬性质量门保护身份、语义有效性、必需来源与授权使用；诊断检查揭示异常值或模式，但需要解释。没有经审查规则和保留的源证据，不得把诊断阈值直接转化为删除或更正。

定量推理

文档覆盖率可按必需元素计算：C_m = n_v / n_r，并对标识符、定义、类型及适用时的单位分别设置硬性质量门。还应测量机器可测试约束的符合率，以及数据发布与配套元数据发布之间的新鲜度滞后。

每个比率都应声明分子、分母、排除项与评价时间。当汇总可能隐藏局部失败时，按来源、实体类型、契约版本或处理运行分层报告。百分比应同时附计数，避免很小分母造成的表面巨大变化被忽略。

精度属于含义的一部分。不能只因存储类型允许就增加小数位，也不能在没有声明容差和测试时舍入身份、区间或坐标字段。定量摘要支持发布决定，但不能替代语义审查。

证据与不确定性

元数据质量应通过使用来评价，而不只是字段填充率。测试独立使用者能否找到目标分发、解释代表性字段、识别坐标参考、应用值状态规则并追溯来源；未解决的含糊应记录为质量问题。

证据包应包含保留的来源引用、采集或主张上下文、适用方法、验证结果、审查决定及派生物链接。当分类会改变处理方式时，把不确定性区分为观测、语义、结构、参数或政策相关。“未知”在证据不足以支持更强主张时是有效状态。

矛盾证据应保持可用。模型可以选择一条当前主张，但要保留理由、竞争主张与生效时间。这样才能支持后续重解释，而不假装早期证据从未存在。

接口与存储

人类可读文档与机器可读元数据应从同一受治理来源发布。每个模式与数据字典版本都获得稳定标识符。分发元数据链接到准确文件或服务，并报告媒体类型、格式配置、校验和、字节大小与访问条件。

接口设计应从逻辑契约向外展开。在选择序列化前，先指定标识符、类型、基数、单位、值状态、坐标与时间参考、版本协商、验证行为和结构化错误；物理表示随后声明它如何映射这些逻辑元素。

存储优化可以分区、压缩、索引或缓存数据，但不能改变身份或悄然移除上下文。派生表示应指向不可变输入与处理清单。缓存携带新鲜度和契约版本信息，绝不被当作唯一证据副本。

治理与访问

责任角色审查定义、值域与质量规则。字段变更提案包含语义影响、兼容性分类、迁移、示例与受影响使用者。文档发布是数据发布质量门的一部分，不能成为可选的后续工作。

治理通过角色名称、审查状态与版本化决定表达，而不依赖任何特定组织。应定义谁可以提议、验证、批准、替代和撤回每类受治理资源。审计记录保存角色和事件，同时避免不必要的个人数据。

对源证据与派生物应用最小必要访问。访问控制不能删除理解获授权发布所需的标识符、血缘或质量元数据。政策未解决时，应以明确理由和升级路径隔离输出。

集成检查点

资源元数据连接字段级数据契约
资源元数据连接字段级数据契约

图中概括本章控制流。应从源证据开始，经过语义结构与验证，读到可供决定使用的成果。每个箭头都应对应声明关系或转换，每个边界都应有契约，每个发布节点都应具有身份、版本与来源指针。

把一份可支持双语发布的元数据记录与机器可测试字段字典加入持续演进的合成数据包。验证早期成果仍可解析，并确认新模型没有覆盖前几章引入的观测、标识符、数值或版本。记录每项变化的假设。

合成算例

一张合成孔口表包含 X、Y、Z 列，却没有坐标元数据。学习者拒绝仅凭惯例把它们标成东、北和高程。来源证据确认轴、单位、水平参考和局部垂直参考；数据字典记录这些信息并加入范围与跨字段检查。

按四轮完成算例：

  1. 保留接收记录并写出预期决定，不先进行任何更正。
  2. 识别实体、主张、上下文、不确定性与政策约束，标记每个未解决项。
  3. 应用版本化规则，创建派生物，并记录准确转换与验证证据。
  4. 给出接受、拒绝或隔离决定，并说明独立审查者如何复现。

由于示例全部为合成内容，其数值只用于演示方法。重要结果是从接收证据到有依据决定的链条。若缺少必需事实，解答应记录缺口，而不是制造一个看似合理的值。

练习任务

为合成空间表编写资源元数据与数据字典。包含稳定字段身份、可操作定义、单位、坐标参考、值域、值状态和质量规则。请第二位读者仅使用该数据包解释五条记录，并记录其仍需提出的每个问题。

采用以下验收标准：

  • 所有必需标识符与引用都解析到声明类型。
  • 每次转换都保留接收证据并记录派生关系。
  • 无效、未知与不适用状态保持区分且可机器测试。
  • 输出标识所用契约、词汇与处理版本。
  • 第二位读者无需私下知识即可复现验证结果。

提交源快照、编写的契约或模型、验证输出、派生物、清单和简短决定记录。截图本身不足以证明准确输入、版本或规则执行。

常见失效模式

  • 把列标签当作完整定义。
  • 坐标参考被缩减为一个非正式简称。
  • 元数据描述当前数据集，却附在旧文件上。
  • 只说质量良好，却没有度量、方法或范围。

这些失败具有共同模式：便利的表示被误认为已经验证的含义。诊断时应找到假设最早变为隐式的边界。修复时恢复源证据，把假设转为版本化字段或规则，重新运行依赖转换，并通过替代而非覆盖发布受影响成果。

不要用无文档默认值修复失败。带明确缺失依赖的阻止结果，比一个无法重建含义却看起来完整的结果更安全、更可复用。

复习问题

  1. 资源元数据与数据字典有何区别？
  2. 什么使字段定义具有可操作性？
  3. 哪些元素使坐标元数据完整？
  4. 如何借助使用者测试文档质量？

对每个答案，都要指出适用不变量、评价所需证据以及不变量失败时的发布行为。高质量答案会区分科学不确定性与语义缺失，也会区分可恢复警告与硬性契约违规。

来源与延伸阅读