Skip to content

GCRI · Foundry

Foundry 的人工智能与机器学习

Artificial intelligence and machine learning extend detection, classification and forecasting across large archives, and agents extend them into action. In this field the method is also a source of risk: models that fail when conditions shift, outputs that sound certain when they are not, and tools that turn an error into an effect.

02申请

人工智能与机器学习在此处的作用。

Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In data and compute and methods and modelling, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.

带空间验证的地球观测模型

Land cover, building and damage models are trained and tested on spatially separated blocks, so reported accuracy reflects new places rather than the neighbours of training pixels.

Model cards and promotion records

Each model version carries its intended use, training data, evaluation by region and subgroup, known limits and red-team results, and is promoted only with a recorded review.

带有凭据记录的限定范围代理

Agents run analyses with a declared tool set, data classes, budget and kill-switch enforced at the policy gate, and every action produces a receipt for a reviewer.

03监测

模型训练。

团队遵循该方法时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。

模型训练

Foundry · AI and machine learning at Foundry · Run R-6794

Drift on one sliceGCRI · Foundry

按切片评估

全部0.830.025712通过
区域 A0.740.051098审核
区域 B0.760.05458审核
稀有类别0.640.07160低于标准

方法卡

方法
人工智能与机器学习
拆分
基于时间,无信息泄漏
功能
22
标签
模型生成

人口稳定性

Model training: the screen’s structure, terms and states for Foundry.Example names and illustrative values; a design, not a record or a live system.
04数据

该方法使用的输入。

本平台上人工智能与机器学习所使用的数据集与记录,注明各自的作用及其数值所附的标签。来源列于 来源登记册.

数据角色标签
带标注的训练集监督学习已报告
Satellite image archives分类的输入观测
留出测试集和分布外测试集评估观测
Evaluation and red-team recordsPromotion decisions已报告
训练数据的数据表Origin, consent and licence已声明
05方法与证据

Foundry 中的人工智能和机器学习如何建模、度量和测试。

模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。

模型、方程与假设

Foundry 用于人工智能和机器学习的模型结构、其所作的假设,以及每项假设如何测试。

要素 i 的风险Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力
预期年度损失EAL = ∑k pk · Lkover events k with annual probability pk
耦合系统xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
假设为何制作如何检验
在一次事件中,危害与暴露相互独立使损失积分保持可计算与基于联合记录拟合的 copula 进行比较
耦合在工作点附近是线性的让冲击通过 A 传播在线性范围之外施加扰动并比较
脆弱性曲线可以在不同地点之间迁移使用很少有本地曲线可用在有观测损失的地方据此进行验证
输入
带溯源信息的版本化数据集
成果
分布,绝不是单一数字
代码
连同模型卡和测试一起发布
复现
相同的数据、代码、环境和随机种子
标准的风险与状态空间表述;所列假设是该方法的典型假设,供审查之用,并非结果。
FAIR 指导原则 · GO FAIR 和 FORCE11W3C PROV · 万维网联盟关于一致处理不确定性的指南 · IPCCCEOS 分析就绪数据 · 地球观测卫星委员会
06验证

结果如何核查。

模型在尊重空间、时间与群体结构的留出数据上进行评估。在测试准确性的同时,也测试稳健性、校准与公平性。

核查如何开展
空间与时间留出验证测试数据在空间和时间上与训练数据分离,以防止数据泄漏
Probability calibrationPredicted probabilities are compared with observed frequencies on held-out data
漂移监测将使用中的输入和输出分布与验证时的分布进行比较,出现偏离即触发审查
对抗性测试模型和智能体在晋级前须经过提示注入和滥用测试

当部署条件与训练数据不同时,性能会下降。模型可能固化偏见,并在罕见事件上毫无明显预警地失效。

07流程

流程如何运行。

Process explorer · Process

AI and machine learning at Foundry: AI risk management (NIST)

9 steps5 stages1 gate

流程

AI and machine learning at Foundry: AI risk management (NIST)

AI RMF 核心包含四项职能:GOVERN、MAP、MEASURE 和 MANAGE,其中 GOVERN 贯穿其他各项;图中所示顺序只是一种常见的解读方式,并非检查清单。

  1. 01 治理

    1. 01GOVERN:政策、角色与问责步骤 · 模型管理方GOVERN 是贯穿各环节的职能。它渗透于人工智能风险管理的全过程,并为其他职能提供支撑。
  2. 02 Map

    1. 02MAP:背景和预期用途数据集MAP 职能建立背景,以界定与人工智能系统相关的风险,包括预期目的和对人的影响。
  3. 03 衡量

    1. 03衡量:评估可信特性建模AI 系统 需评估其可信特性。应在部署前以及运行期间定期对其进行测试。
    2. 04MEASURE:随时间跟踪已识别的风险建模已建立随时间跟踪已识别人工智能风险的机制,包括未预见的和新出现的风险。
  4. 04 管理

    1. 05MANAGE:处置风险步骤风险处置 计划涵盖事件的响应、恢复和沟通。资源将投向已绘制和已衡量的风险。
    2. 06是否继续(MANAGE 1.1)关口 · 模型管理方判定系统是否满足其目的和目标,以及是否继续推进。该框架未设定阈值。
    3. 07部署决策决策 · 模型管理方拥有该系统的组织决定是否部署以及在何种条件下部署。
    4. 08部署后监测与事件建模部署后监测计划已实施。事件和错误将与相关人工智能参与方共享,包括受影响的社区。
  5. 05 记录

    1. 09人工智能系统清单数据集GOVERN 1.6 要求建立 AI 系统清单编制机制。模型卡是常见做法,框架中并未提及。

对已发布的外部标准或方法的中立概述,内容来自其发布机构。并非运行记录。Nexus 不执行、认证或批准所示的任何步骤。关卡或决定归属于来源所指明的一方。这些行动不一定构成有先后顺序的步骤。本流程图未纳入欧盟《人工智能法案》。

09管理责任

由谁维护该方法。

人工智能与自主系统 为 Consortium 管理人工智能与机器学习,并审查其在各平台上的应用情况。

11问题

问题与解答。

在该领域,人工智能与机器学习有哪些局限?
当部署条件与训练数据不同时,性能会下降。模型可能固化偏见,并在罕见事件上毫无明显预警地失效。
结果如何核查?
模型在尊重空间、时间与群体结构的留出数据上进行评估。在测试准确性的同时,也测试稳健性、校准与公平性。
本页面上的数值是真实的吗?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
该方法还应用于何处?
维持社会运转的 规范方法页面 列出应用该方法的每个平台。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI区域任务最常用的 FoundryFoundry 构建与准备度
区域任务最常用的 Foundry

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.