C2 · 出版卷 12
Data Compilation 和 Source Audit
数据清单、来源、许可、时效、分辨率和缺口
学习目标
完成本课后,你应能建立数据清单,审计来源权威性与许可,区分分辨率和像元尺寸,检验坐标与时间兼容性,正确表达空值状态,并把派生靶区条件追溯到不可变的源观测。
汇编并不是把文件复制进一个文件夹,而是受控地创建证据图。每张派生图必须保持到源对象、转换、参数和质量决策的链接。视觉上无缝的图层堆栈,如果代表不同日期、支持、基准、总体或法律权限,也可能在科学上完全不相容。
先清点,后集成
从登记表开始,而不是从拼图开始。每个对象需要稳定标识、标题、数据类型、专题意义、空间与时间范围、坐标参考系统、必要时的垂直基准、尺度或支持、分辨率、采集日期、发布日期、来源、许可、谱系、质量状态、格式、校验和与存储位置。
观测与解释必须分开。野外测点、分析结果和实测物理响应是观测;岩性多边形、解释断层、网格异常和反演体含模型选择。扫描历史图件不等于矢量化解释;配准误差和数字化规则属于谱系。
清单应暴露重复与取代关系。两个文件名可能是同一发布;一个文件可能合并多期数据;新版也可能只修正坐标而不改测量。校验和、发布标识和“派生自”“取代”“是……的替代解释”等关系可防止暗中重复计数。
来源、许可、时效与权威用途
来源权威性取决于问题。具有法律时效的边界必须来自适用的权威登记,而旧地质图可能仍保存后来消失露头的最佳观测。发出对象的机构只记录在元数据中;机构身份不能替代质量评价。
许可决定数据能否访问、转换、再分发或发布。“网上可见”不等于不受限制。保留许可文本或稳定引用、署名要求、访问条件及对派生作品的限制。权限不清时,把对象隔离在发布派生品之外,直到解决。
时效至少有四个日期:现象观测、数据处理、对象发布和本次访问。矿权、土地状态、基础设施与环境约束会变化;地质观测通常只因重解释或纠错而变化。行政图层未经当前核实,不能因缓存可用就视为有效。
坐标、支持与分辨率
坐标参考系统包括 datum、projection、轴顺序与单位。垂直坐标还需基准和正负号约定。缺少这些定义的坐标对不完整。历史地方网、扫描图和现代全球系统叠加时,转换不确定性可能大于靶区足迹。
像元尺寸不一定等于空间分辨率。粗调查插值到细网格,产生的是细间隔预测而非细观测。样品支持可以是点、区间、组合、汇水区、足迹或体积。把所有图层重采样到最小像元,只制造视觉对齐,实际信息仍由最粗分辨率控制。
属性兼容与几何兼容同样重要。浓度可能使用不同单位、消解方法、粒级、检出限与删失规则;物探产品可能是实测、滤波、校正或反演结果。集成前建立对照表,说明哪些转换具有科学依据。
谱系图与转换审计
对固定发布版本而言,谱系图应为有向无环图。源观测依次进入质量控制决定、坐标转换、组合、插值、特征提取和条件构建。每个节点记录代码或方法版本、参数、输入、输出校验和、执行角色与时间。人工编辑和自动转换需要同等记录。
不要用修正值覆盖原值。修正应存为派生字段,并带原因和状态。保留检出限定符、被拒结果与质量控制标志。把“低于检出限”替换成零会销毁信息,并可能在对数转换后制造人工反差。
可复现还要求含义不依赖特定环境。专有二进制可以归档,但提供含 schema、单位和坐标定义的开放导出更利于长期解释。当权利或敏感性阻止公开时,可复现不要求公开,而要求获授权评审者能在边界内重建结果。
空白语义与适用性
使用明确状态:未采集、不可访问、无许可、无法定位、低于检出限、高端删失、质量控制失败、覆盖范围外、不适用和确认不存在。数据库中的单一 null 不能传达这些含义,地图图例与机器可读代码表应一致。
适用性必须对决策评价。区域磁测网格可用于地壳格架,却未必适合小靶区;精确分析若采样支持有偏仍不适用;当前地籍图层在法律上相关,在地质上可能无关。应针对用途评级,而不是赋一个普遍质量等级。
空白分析还要判断空白是否可降低,以及填补后能否改变行动。有些空白因其他证据占优而可容忍,另一些使关键条件不确定。若数据无法区分假设,不要只因地图有空白就采集。
合成算例
一个虚构靶区的预测足迹宽 150 m。历史地方网重建后,地球化学点集的位置标准不确定性估计为 120 m;一项基准文件不完整的物探异常位置不确定性为 160 m。若误差近似独立且正交,组合标准不确定性为
$u=\sqrt{120^2+160^2}=200\ \text{m}.$
不确定性大于预测足迹,因此两层的表观重合不能支持靶区尺度因果关系。把二者都重网格到 25 m 不会改善约束。合理行动是解决坐标谱系或重新取得控制,而不是计算更精细的重叠分数。
进一步审计发现,地球化学层代表 100 m 组合汇水支持,物探网格虽然输出像元为 50 m,有效分辨率约 400 m。组合模型必须在粗响应和位置不确定性允许的尺度运行。25 m 靶区多边形可以保留为假设,但排序必须标为不确定,而不是精确。
解释工作流
- 用稳定标识和校验和登记每个源对象与派生对象。
- 分开观测、解释和行政图层。
- 记录许可、访问条件、日期和权威用途。
- 验证水平与垂直坐标定义及单位。
- 记录观测支持、有效分辨率和检出限。
- 只通过声明、可逆的转换协调属性。
- 分别编码空值、删失、排除和质量失败。
- 建立从源到靶区条件的谱系图。
- 按每个决策和尺度评价适用性。
- 隔离未解决对象,防止其暗中影响排序。
练习与复习
- 说明 500 m 网格转成 10 m 像元为何不会产生 10 m 分辨率。
- 为含低于检出限、缺失、拒绝和域外记录的地球化学表设计空值代码。
- 列出历史地方网转换到现代投影系统所需元数据。
- 绘制从野外样品到异常多边形的谱系图,包括全部质量和转换步骤。
- 判断受限但高质量的数据能否进入公开靶区图,并识别未解决的权限问题。
来源与延伸阅读
- 科学数据 FAIR 指导原则,定义可发现、可访问、可互操作和可复用。
- W3C PROV-O,提供实体、活动与谱系关系的一般词汇。
- ISO 19115-1 地理信息元数据,规定地理元数据概念。
- DataCite 元数据 Schema,支持持久标识和结构化数据集说明。
- OGC GeoPackage 标准,说明开放地理空间容器与 schema 方法。