Skip to content

GCRI · Foundry

建模与模拟

Risk models range from hydrodynamic flood simulations and power-flow studies to agent-based evacuation models and statistical loss models. They share three engineering needs: enough compute to run ensembles, enough discipline to reproduce a run months later, and enough honesty to state what the model cannot represent. This page sets out how model error enters, compounds through coupling and reaches decisions, how reproducibility is engineered, and where the limits sit.

01登记

Modelling and simulation on the record.

02问题

建模与模拟:风险如何发展。

工作负载、可复现性与局限。下文说明风险如何演变、衡量什么、数据来自何处、如何建模以及由谁决定。

机制

结构误差和参数误差

Every model omits processes and fixes parameters from limited data. Calibration can fit the past for the wrong reasons, so a model that matches history may still fail in the conditions a decision is actually about.

机制

耦合会放大误差

When a flood model feeds a power-network model that feeds a hospital-continuity model, mismatched time steps, grids, units or assumptions produce plausible but wrong cascades. Each hand-off needs a declared contract and a sensitivity test of its own.

机制

Environment drift

编译器标志、库更新、不同的处理器或未记录的随机种子都会改变结果。如果没有固定的容器、带版本的代码和记录在案的配置,运行就无法重复,输出的变化也无法解释。

机制

Extrapolation

Models are validated for a range of conditions and then used beyond it: a new climate, a larger event, a different city. Outside the validated range a model is an assumption with a number attached, and its label must say so.

03方法与证据

建模与仿真如何建模、度量和检验。

模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。

模型、方程与假设

The model structure used for modelling and simulation, the assumptions it makes and how each is tested.

要素 i 的风险Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力
预期年度损失EAL = ∑k pk · Lkover events k with annual probability pk
耦合系统xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
假设为何制作如何检验
在一次事件中,危害与暴露相互独立使损失积分保持可计算与基于联合记录拟合的 copula 进行比较
耦合在工作点附近是线性的让冲击通过 A 传播在线性范围之外施加扰动并比较
脆弱性曲线可以在不同地点之间迁移使用很少有本地曲线可用在有观测损失的地方据此进行验证
输入
带溯源信息的版本化数据集
成果
分布,绝不是单一数字
代码
连同模型卡和测试一起发布
复现
相同的数据、代码、环境和随机种子
标准的风险与状态空间表述;所列假设是该方法的典型假设,供审查之用,并非结果。
FAIR 指导原则 · GO FAIR 和 FORCE11W3C PROV · 万维网联盟关于一致处理不确定性的指南 · IPCCCEOS 分析就绪数据 · 地球观测卫星委员会
04在五个领域中

Foundry 中的模型旨在耦合各个领域。

05指标

衡量什么,以及衡量得如何。

每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。

指标单位节奏来源类型标签
Runs reproduced from recorded inputs抽样运行所占比例每季度重新执行审计观测
Hindcast skill on a held-out periodmodel-specific skill scoreper model version对照观测的验证模型生成
集合离散度units of the output variable每个运行集集合统计模型生成
Variance attributed to each uncertainty source按输入、参数和结构划分的比例每项研究全球 敏感性分析模型生成
耦合接口检查已通过交接比例每次运行单位、网格和时间检查观测
Conservation closure errorunits of the conserved quantity每次运行Model diagnostics观测
Model versions in use with independent review版本占比每个版本评审记录观测
Compute per ensemble member核时或 GPU 时每次运行Scheduler accounting观测
06来源

证据来自何处。

具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。

来源它提供什么许可类别
ERA5 再分析资料(Copernicus 气候变化 服务)Hourly atmospheric and land forcing for hindcasts and validation免费开放,须署名
通过 地球系统 网格联盟获取的 CMIP6 档案用于情景强迫的气候模型预测CC BY 4.0 for most models
ISIMIP 影响模型输出用于相互比较的统一部门影响模拟大多数成果采用 CC BY 4.0
NASA Earthdata用于模型评估的卫星观测Free and open, NASA data policy
Zenodo模型代码、配置和数据切片的版本化、可引用归档每条记录的许可
Software Heritage 档案库源代码的长期保存和持久标识符免费访问,各存储库各自的许可
07决定

由谁决定,以及证据服务于什么。

Foundry 负责准备证据。以下决定由所列机构依其自身规则作出,绝不由平台作出。

谁来决定问题本页面服务的证据
各部委的项目负责人Whether a model is fit to inform a policy or investment choiceValidation range, sensitivity, independent review and stated limits
模型审查负责人某一模型版本能否用于某个问题,以及附带哪些注意事项回溯预测技能、外推检验、复现测试
基础设施运营方模型情景是否足够可信,可据以确定预防措施的规模集合离散度、耦合假设、与历史事件的比较
科研资助方和期刊编辑结果是否具备足够的可重复性,可供发表或进一步资助Archived code, data cuts and the re-execution record

该主题产生的产出

  • Run records with data cut, code version, container digest and configuration
  • Validation reports with the conditions of validity stated
  • 含离散度和敏感性归因的集合
  • Coupling contracts declaring units, time steps and grids
08核心问题

建模人员在信任结果之前会提出的问题。

  • Can this run be reproduced exactly, from the same data cut, code version and configuration?
  • 该模型是否已针对其当前使用条件下的观测数据进行过验证?
  • 结果的差异有多少来自输入、参数和模型结构?
  • Are coupled models exchanging variables with consistent units, timing and assumptions?
09机制

Workloads, ensembles and coupling.

大多数风险问题需要多次运行而非一次:跨气候情景的集合、针对不确定参数的蒙特卡洛抽样,或跨适应方案的扫描。这些运行被设计为通过 NXS-COR(算力、节点与运行时) 在云、私有基础设施和边缘节点之间调度,由 NXS-LAB(研究、实验与模拟) 提供受治理的实验和可复现计算,并由 NXS-DSS(决策案例与审议) 将结果转化为面向决策者的方案权衡。

耦合是错误藏身之处。当洪水模型为电网模型提供输入,而电网模型又为医院连续性模型提供输入时,时间步长、空间网格或单位约定不一致,可能产生看似合理但错误的级联结果。明确的接口、在每次交接处声明假设,以及对耦合本身进行敏感性测试,是标准的防范措施。

10可重复性与局限

如何确保结果诚实可信。

版本

Pinned inputs

冻结的数据切片、带版本的代码和已记录的配置,使一次运行可以重复。

验证

Against observations

Hindcasts and out-of-sample checks, with the conditions of validity stated.

不确定性

Stated, not hidden

Results carry their spread and the main sources of uncertainty.

Limits: reproducibility proves a run can be repeated, not that the model is right. Models extrapolated beyond their validated range, or used for questions they were not built for, remain the most common source of misleading results. Independent review of model choice, separate from the team that built the model, is the standard safeguard.

11方法

如何研究,以及方法无法说明的内容。

12Where this page’s references

Where this page’s references lead.

阅读本页时所对照的机构和文件。状态和版本会变化;每个链接都指向发布机构。

13问题

问题与解答。

结果能否完全复现?
在相同的硬件和软件栈上,通常可逐位复现。跨处理器、编译器或并行布局时,结果在末位数字上可能不同,因此复现以所述容差为判断标准,任何更大的差异都会被调查。
为什么运行集合而不是单次最佳运行?
Because inputs, parameters and model structure are uncertain. An ensemble shows the spread a decision must allow for; a single run hides it.
What is a coupling contract?
在每个模型交接处就变量、单位、时间步长、网格和假设作出声明的协议。每次运行都会检查,因此不匹配会明显失败,而不会产生看似合理的错误级联。
我可以在 Foundry 中运行自己的模型吗?
Inside an authorised project, once a compute allocation and the data owners’ terms are in place. The model, its container and its configuration are recorded with every run.
模型结果会自动发布吗?
否。结果会保留在项目中,直至审核人接受;对于公开材料,还须记录公开安全发布决定。
Does running a model in Labs validate it?
否。实验结果不等同于认证。验证是一项单独的、有文件记录的评估。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI区域任务最常用的 FoundryFoundry 构建与准备度
区域任务最常用的 Foundry

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.