Labs 和 Foundry 系列:风险如何发展。
技术检验与就绪证据。下方档案说明风险如何发展、测量什么、数据来自何处、如何建模以及由谁决定。
测试条件限定了主张的范围
A test establishes behaviour under the conditions tested, with the inputs, environment and version used. Reports that omit those conditions invite readers to generalise beyond them.
Readiness declared not shown
技术成熟度等级往往由自行评定。若缺乏各等级所要求的证据,成熟度声明就会从测试报告直接进入采购决策,而未经核验。
负面结果缺失
Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.
底层版本会发生变化
Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.
系列制作台。
团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。
系列制作台
Labs and foundry series · Annual synthesis · Edition 7
制作中的版本
| 年度综述 | 全球 | 数据核查 | 81 | W10 |
| 国家概况 7 | 国家 | 同行评审 | 97 | W16 |
| 水资源展望 | 行业类 | 起草中 | 32 | W38 |
| 方法说明 4 | 方法 | 已发布 | 100 | 已完成 |
数据核查,年度综合
版本流程
- 大纲理事会
- 草稿作者
- 数据核查每一个值
- 同行评审两轮
- 编辑决定
- 发布DOI
- 更正有版本管理
Labs and Foundry editions report what was tested and built for each domain.
Editions carry verification evidence under NS-11 of the proposed Nexus Standards. A test result is not an approval.
- 负面结果。
- Replications.
How labs and foundry series is modelled, measured and tested.
模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。
模型、方程与假设
The model structure used for labs and foundry series, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 假设 | 为何制作 | 如何检验 |
|---|---|---|
| 在一次事件中,危害与暴露相互独立 | 使损失积分保持可计算 | 与基于联合记录拟合的 copula 进行比较 |
| 耦合在工作点附近是线性的 | 让冲击通过 A 传播 | 在线性范围之外施加扰动并比较 |
| 脆弱性曲线可以在不同地点之间迁移使用 | 很少有本地曲线可用 | 在有观测损失的地方据此进行验证 |
- 输入
- 带溯源信息的版本化数据集
- 成果
- 分布,绝不是单一数字
- 代码
- 连同模型卡和测试一起发布
- 复现
- 相同的数据、代码、环境和随机种子
衡量什么,以及衡量得如何。
每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。
| 指标 | 单位 | 节奏 | 来源类型 | 标签 |
|---|---|---|---|---|
| Test protocols registered before testing | 报告占比(%) | 每份报告 | Registry 记录 | 观测 |
| 附存档代码、数据和配置的测试报告 | 报告占比(%) | 每份报告 | Repository deposit records | 观测 |
| 所声称的就绪水平及所附证据 | level claimed; yes or no for evidence | 每份报告 | 报告和证据附件 | 已声明 |
| 发布负面和不确定的结果 | 每期计数 | 年度 | 系列目录 | 已报告 |
| 已确认被测系统的版本 | 报告占比(%) | 每份报告 | 报告元数据 | 观测 |
| 独立技术审查已完成 | 是或否,并注明审查人角色 | 每份报告 | 审查记录 | 已声明 |
证据来自何处。
具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。
| 来源 | 它提供什么 | 许可类别 |
|---|---|---|
| Zenodo | 带 DOI 的存档测试数据、配置和软件版本 | 元数据采用 CC0,许可按记录 |
| Software Heritage | 在所测试的确切修订版本上保存的源代码 | Code under its own licence |
| OSF 注册库 | 预先注册的测试方案与分析计划 | Metadata CC0, licence per registration |
| protocols.io | 已发布的分步方法,附版本和 DOI | 按协议确定许可,多数为 CC BY |
| NIST 国家漏洞数据库(National Vulnerability Database) | Known vulnerabilities for software components under test | 公有领域 |
由谁决定,以及证据服务于什么。
Reports 负责准备证据。以下决定由所列机构依据其自身规则作出,绝不由平台作出。
| 谁来决定 | 问题 | 本页面服务的证据 |
|---|---|---|
| 采购与采纳委员会 | 经测试的技术是否已准备好用于试点或业务运行 | 就绪度证据附件、测试条件和已知局限 |
| 创新资助方和项目管理人员 | 是否资助下一阶段的开发 | 就绪度等级及其证据、负面结果和未决风险 |
| 技术审查小组 | Whether a test report is complete and its conclusions follow from the evidence | Registered protocols, archived data and version identifiers |
| Standards and conformity assessment bodies | 测试方法是否适用于未来标准 | 有文件记录的测试程序及其可重复性 |
该主题产生的产出
- 载明条件、版本和验收标准的测试报告
- 将各级别与其证据对应的就绪度证据附件
- 每项测试的存档配置和数据
- A register of negative and inconclusive results
该系列提出的要求。
Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.
- What exactly was tested, under which protocol, with which data and in which environment?
- What passed, what failed and what was not tested?
- 证据是否支持所述的下一步,且仅支持该步骤?
- 哪些观测或信号值得进一步分析,其可靠性如何?
该系列涵盖的内容。
Three series report evidence from building, testing and observing.
Experiments and testbeds
已完成研究方案的结果,包括无效结果和负面结果。
观测
来自监测的信号,按来源和置信度标注,用于提示分析而非行动。
该系列遵循工程领域测试与评估实践的逻辑:一项主张的可靠程度取决于检验它的方案,而就绪始终是针对某一具体目的的就绪。通过实验室测试的工具并不意味着可用于现场,在一次演练中运行良好的系统也不能证明它在所有环境中都能运行。各版本在每项结果旁注明这些局限。
版本如何构建,及其局限。
- 01
协议
Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.
- 02
环境
测试条件已作说明;试验平台的结果未必适用于实际运行。
- 03
准备度标准
Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.
- 04
信号质量
Observatory signals state their source, coverage and false-alarm characteristics where known.
Where this page’s references lead.
阅读本页时所对照的机构和文件。状态和版本会变化;每个链接都指向发布机构。
问题与解答。
什么是技术成熟度等级?
Why publish failed tests?
Does a passed test mean a system is safe?
Does a readiness report mean a system is approved?
未通过的测试会公布吗?
供应商能否在该系列中发布结果?
观测站信号是否属于预警?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件网关 GW-GCRI从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告GCRI查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。