C6 · 出版卷 16

Data Integration and Validation

Hole IDs、depths、intervals、units、status、version

学习目标

本章在不压平含义的前提下组装证据链。学习者应能够设计标识符和关系实体,验证孔口、测斜、回次、编录、样品与化验表,执行区间和单位规则,对状态与版本建模,保存来源追溯,并在保留原始和被替代记录的同时创建采用发布。

表格能够连接,不代表集成成功。语法有效的连接仍可能把化验值接到错误钻孔、使用错误测斜版本或把缺失结果变成零。验证必须检查身份、几何、语义、谱系与决策适用性。

实体与关系模型

把计划、钻孔、分支、孔口观测、测斜观测、采用测斜、钻进事件、回次、容器、岩芯区间、地质观测、构造要素、样品、发运、制样实体、分析批、结果、质量控制、图像与发布表示成可区分实体。它们可以共享键,但不应变成一张超宽表。

需要时同时使用持久源身份与稳定内部键。不能从样号前缀猜孔号;样品通过显式关系属于区间;结果属于某个分取和方法;采用结果视图依据规则从多个结果版本中选择。

很多关系是一对多。一个区间可以有多个解释;一个样品有多个结果;一组原始站可产生多个采用测斜;一张图有多个派生。把它们压成一行会强迫任意选择并隐藏版本历史。

标识符、深度与区间规则

在正确范围验证唯一性。孔号应在仓库或命名空间内唯一;样号在声明系统内必须无歧义;序号可能只在一次发运内唯一。前导零和大小写规则应有意识保留,不能让表格软件改变身份。

深度需要单位、沿孔基准与精度。检查非负、起始小于终止、最大深度与钻进及编录长度关系、测站顺序、回次连续性、岩芯箱对账与样段包含关系。半开区间 [f,t) 防止共享边界被两个区间重复占有。

重叠不总是错误。同一采用解释中的岩性区间通常不应重叠,但脉体可以与岩性重叠,分析复测可以共享支撑。验证规则必须针对表类型和版本。缺口在状态明确时也可以合法。

单位、词汇与结果状态

把数值与单位、分析对象、方法和限定符分开存储。标准化只能通过声明换算,并保留源值。质量百万分率在特定条件下与毫克每千克数值相同,但百分数、元素与氧化物形式、干基和湿基、依赖密度的单位都需要显式语义。

使用受控结果状态:有效数值、低于限、高于限、未分析、未收到、材料不足、无效和等待。没有理由的空值不够。检出限或报告限本身也是带单位和方法的值。不能把限定符塞在文本数字中让下游软件误解析。

词汇与映射需要版本化。两套编录模式使用不同风化或岩性概念时,应建立带限制的显式对照,不能为适应新代码表而静默重标历史观测。

验证、版本与来源追溯

分层验证。结构检查验证必填字段、类型与引用;几何检查验证坐标、角度、深度、区间与轨迹合理性;语义检查验证单位、方法相容性与允许状态组合;谱系检查保证每个采用值回到来源;统计检查识别异常分布、重复值、复制值与批次效应;地质复核判断模式是否合理,但不能因为异常不方便就删除。

创建带校验和的不可变接收快照,用版本化代码或可复现规则转换成标准表。把验证发现也作为数据保存,包含严重度、受影响实体、规则、证据、处置与发布影响。修正源错误应创建修正实体或映射,而不是擦除收到的文件。

一次发布是采用版本与排除项的清单。它应标明孔口版本、测斜版本、编录解释、样品和结果状态、验证规则版本、未解决问题与生成产品。新发布不能改变旧模型当时使用的内容。

合成案例

某合成导入包含钻孔 DH-017、位于 88.089.0\,\mathrm m 的样品 S-1042、元素 Y 的两个结果,以及一个标为“最终”的测斜文件。验证发现样品引用的是无连字符的 DH017,两个结果分别使用百分数和毫克每千克,并且测斜文件校验和与早期孔迹使用的版本不同。

流程不能按字符串相似度自动修正。经复核的别名表以来源与理由连接 DH017DH-017。单位保留;只有确认元素基准后才生成派生统一视图。两个测斜文件都成为版本化实体;采用发布声明使用哪一个并重新生成受影响坐标。

发布报告显示原始身份差异、换算与测斜变化。使用者既能复现采用视图,也能检查先前状态。

练习与复核清单

  • 实体、观测、解释与发布对象是否区分?
  • 标识符是否稳定并在正确范围验证?
  • 别名映射是否复核而非猜测?
  • 深度和区间是否使用声明单位与边界逻辑?
  • 允许的重叠与缺口是否按表类型定义?
  • 数值、单位、对象、方法、限定符与状态是否分开?
  • 所有换算和词汇映射能否重现?
  • 收到的文件是否不可变并有校验和?
  • 每项验证发现是否有处置与发布影响?
  • 旧发布能否精确重建?

通过覆盖源值或静默选择重复项产生的“干净表”应被拒绝。没有谱系的整洁意味着证据损失。

决策影响与发布

采用数据集是面向用途的视图,不是唯一真相。它应公开所用证据、排除项、未解决问题与不确定性。下游使用者既需要稳定发布身份,也需要回到源观测的路径。

建模或估算前,应测试测斜版本、区间不确定性、支撑、质量状态与删失结果的敏感性。孔口或测斜改变时重新生成派生坐标。当身份、几何、语义、质量和谱系都适合所述决策时,一次发布才适用。

钻孔集成保存独立实体,验证身份与区间,并发布可复现的采用版本。
钻孔集成保存独立实体,验证身份与区间,并发布可复现的采用版本。

来源