Skip to content

GCRI · Reports

Labs 与 Foundry 系列

实验室 和 foundry 报告记录技术测试:在规定条件下进行的原型、软件、传感器、数据管道和程序测试。测试证据很容易被夸大,因为在受控条件下通过测试往往被理解为已具备使用条件。本页说明测试报告如何构建、审查和归档,成熟度等级如何以证据而非声明来确认,以及这类证据能为决定是否采用或资助某项技术的人员提供哪些支持。

01登记

记录在案的 Labs 与 Foundry 系列。

02问题

Labs 和 Foundry 系列:风险如何发展。

技术检验与就绪证据。下方档案说明风险如何发展、测量什么、数据来自何处、如何建模以及由谁决定。

机制

测试条件限定了主张的范围

A test establishes behaviour under the conditions tested, with the inputs, environment and version used. Reports that omit those conditions invite readers to generalise beyond them.

机制

Readiness declared not shown

技术成熟度等级往往由自行评定。若缺乏各等级所要求的证据,成熟度声明就会从测试报告直接进入采购决策,而未经核验。

机制

负面结果缺失

Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.

机制

底层版本会发生变化

Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.

03监测

系列制作台。

团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。

系列制作台

Labs and foundry series · Annual synthesis · Edition 7

Data check behind planGCRI · Reports

制作中的版本

年度综述全球数据核查81W10
国家概况 7国家同行评审97W16
水资源展望行业类起草中32W38
方法说明 4方法已发布100已完成

数据核查,年度综合

已追溯的数值,%要求 100 分,已得 79 分已附标签,%100 项中需达 95 项所述不确定性,%100 项要求中的 73 项

版本流程

  1. 大纲理事会
  2. 草稿作者
  3. 数据核查每一个值
  4. 同行评审两轮
  5. 编辑决定
  6. 发布DOI
  7. 更正有版本管理
Series production desk: the screen’s structure, terms and states for Labs and foundry series.Example names and illustrative values; a design, not a record or a live system.
04在五个领域中

Labs and Foundry editions report what was tested and built for each domain.

05方法与证据

How labs and foundry series is modelled, measured and tested.

模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。

模型、方程与假设

The model structure used for labs and foundry series, the assumptions it makes and how each is tested.

要素 i 的风险Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力
预期年度损失EAL = ∑k pk · Lkover events k with annual probability pk
耦合系统xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
假设为何制作如何检验
在一次事件中,危害与暴露相互独立使损失积分保持可计算与基于联合记录拟合的 copula 进行比较
耦合在工作点附近是线性的让冲击通过 A 传播在线性范围之外施加扰动并比较
脆弱性曲线可以在不同地点之间迁移使用很少有本地曲线可用在有观测损失的地方据此进行验证
输入
带溯源信息的版本化数据集
成果
分布,绝不是单一数字
代码
连同模型卡和测试一起发布
复现
相同的数据、代码、环境和随机种子
标准的风险与状态空间表述;所列假设是该方法的典型假设,供审查之用,并非结果。
FAIR 指导原则 · GO FAIR 和 FORCE11W3C PROV · 万维网联盟关于一致处理不确定性的指南 · IPCCCEOS 分析就绪数据 · 地球观测卫星委员会
06指标

衡量什么,以及衡量得如何。

每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。

指标单位节奏来源类型标签
Test protocols registered before testing报告占比(%)每份报告Registry 记录观测
附存档代码、数据和配置的测试报告报告占比(%)每份报告Repository deposit records观测
所声称的就绪水平及所附证据level claimed; yes or no for evidence每份报告报告和证据附件已声明
发布负面和不确定的结果每期计数年度系列目录已报告
已确认被测系统的版本报告占比(%)每份报告报告元数据观测
独立技术审查已完成是或否,并注明审查人角色每份报告审查记录已声明
07来源

证据来自何处。

具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。

来源它提供什么许可类别
Zenodo带 DOI 的存档测试数据、配置和软件版本元数据采用 CC0,许可按记录
Software Heritage在所测试的确切修订版本上保存的源代码Code under its own licence
OSF 注册库预先注册的测试方案与分析计划Metadata CC0, licence per registration
protocols.io已发布的分步方法,附版本和 DOI按协议确定许可,多数为 CC BY
NIST 国家漏洞数据库(National Vulnerability Database)Known vulnerabilities for software components under test公有领域
08决定

由谁决定,以及证据服务于什么。

Reports 负责准备证据。以下决定由所列机构依据其自身规则作出,绝不由平台作出。

谁来决定问题本页面服务的证据
采购与采纳委员会经测试的技术是否已准备好用于试点或业务运行就绪度证据附件、测试条件和已知局限
创新资助方和项目管理人员是否资助下一阶段的开发就绪度等级及其证据、负面结果和未决风险
技术审查小组Whether a test report is complete and its conclusions follow from the evidenceRegistered protocols, archived data and version identifiers
Standards and conformity assessment bodies测试方法是否适用于未来标准有文件记录的测试程序及其可重复性

该主题产生的产出

  • 载明条件、版本和验收标准的测试报告
  • 将各级别与其证据对应的就绪度证据附件
  • 每项测试的存档配置和数据
  • A register of negative and inconclusive results
09核心问题

该系列提出的要求。

Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.

  • What exactly was tested, under which protocol, with which data and in which environment?
  • What passed, what failed and what was not tested?
  • 证据是否支持所述的下一步,且仅支持该步骤?
  • 哪些观测或信号值得进一步分析,其可靠性如何?
10范围

该系列涵盖的内容。

Three series report evidence from building, testing and observing.

实验室

Experiments and testbeds

已完成研究方案的结果,包括无效结果和负面结果。

区域任务最常用的 Foundry

Build and readiness

依据既定的准备度标准,提供关于 Foundry 系统 的证据,绝不作为认证。

Signals

观测

来自监测的信号,按来源和置信度标注,用于提示分析而非行动。

该系列遵循工程领域测试与评估实践的逻辑:一项主张的可靠程度取决于检验它的方案,而就绪始终是针对某一具体目的的就绪。通过实验室测试的工具并不意味着可用于现场,在一次演练中运行良好的系统也不能证明它在所有环境中都能运行。各版本在每项结果旁注明这些局限。

11版本如何构建

版本如何构建,及其局限。

  1. 01

    协议

    Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.

  2. 02

    环境

    测试条件已作说明;试验平台的结果未必适用于实际运行。

  3. 03

    准备度标准

    Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.

  4. 04

    信号质量

    Observatory signals state their source, coverage and false-alarm characteristics where known.

12方法

如何研究,以及方法无法说明的内容。

  1. 数据工程、互操作性与数据管护以 JATS XML 进行结构化出版 · 贯穿记录的永久标识符在此应用
  2. 不确定性量化与模型验证评估中的校准用语 · 证据确定性评级在此应用
  3. 概率与统计注明异质性的荟萃分析 · 小样本研究偏倚与发表偏倚在此应用
13Where this page’s references

Where this page’s references lead.

阅读本页时所对照的机构和文件。状态和版本会变化;每个链接都指向发布机构。

14问题

问题与解答。

什么是技术成熟度等级?
一种量表,用于描述技术从基本原理发展到实际运行验证的进展程度。每一级都需要具体证据;没有证据支持而声明的级别只是一种宣称,而不是验证。
Why publish failed tests?
因为只有成功的记录会产生误导。负面和无定论的结果表明某项技术在何处不起作用,并避免他人重复同样的试验。
Does a passed test mean a system is safe?
不。它意味着系统在规定条件下满足了规定标准。安全性取决于使用方式、情境以及测试可能未涵盖的条件。
Does a readiness report mean a system is approved?
No. Readiness is fitness for a stated next step within a stated scope. It is not approval, certification or a statement that a service operates.
未通过的测试会公布吗?
是的。负面结果和零结果是证据的组成部分,略去它们会夸大就绪程度。
供应商能否在该系列中发布结果?
Results appear only from protocols run under the programme’s review. Vendor claims are labelled Institution-reported if cited at all.
观测站信号是否属于预警?
不会。它们只是促使开展分析。预警仍由主管机关负责。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI报告全球系统风险与韧性国家系统风险与韧性国家季报
报告

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。