Skip to content

GCRI · 人工智能与自主系统

人工智能评估与保证

人工智能评估与保障工程是本平台负责管理的第二种方法。它提供证明人工智能系统适用于既定用途的证据:评估、红队测试、文档、监测,以及将这些内容联系起来的结构化论证。

01登记

人工智能评估与保证的记录。

方法记录STEM 方法
  1. 方法AI 评估与保证工程
  2. 管理者人工智能与自主 系统
  3. 应用于人工智能与自主系统
  4. 规范页面STEM 公共资源
02申请

人工智能评估与保障工程在此发挥的作用。

人工智能评估与保障工程研发测试、监测并为人工智能 系统提供有依据的信心的方法。它涉及整个系统生命周期中的性能、稳健性、安全性和社会影响。在人工智能以及数据与算力领域,人工智能保障决定自动化系统能否在高后果场景中获得信任。当人工智能嵌入金融、卫生和基础设施时,它有助于管理风险。权威描述见 STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

结构化红队演练

对抗性测试围绕威胁模型规划,并记录测试人员、范围、时间和发现,以便判断覆盖程度。

部署后监测

发布后会持续跟踪事件、投诉和绩效指标,并预先确定触发复核或回滚的条件。

03监测

Evaluation suite.

团队遵循该方法时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。

评估套件

AI and autonomous systems · AI evaluation and assurance · Run R-0951

一道关口待定GCRI · 人工智能与自主系统

Evaluation suites

能力58589发布通过
稳健性13372发布通过
Bias and fairness16981发布通过
Misuse red team14279部署未结发现

方法卡

方法
AI 评估与保证工程
建模
M-196 v1
负责人
model risk function
标签
模型生成

发现

  1. F-1边缘提示下的不安全补全部署前缓解5 天后到期
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04数据

该方法使用的输入。

本平台上 AI 评估与保障工程所使用的数据集和记录,并说明各自的作用及其数值所带的标签。来源列于 来源登记册.

数据角色标签
评估结果Evidence for claims观测
红队报告Failure discovery已报告
事件日志Field evidence已报告
系统文档Scope and assumptions已声明
05方法与证据

How AI evaluation and assurance is modelled, measured and tested.

模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。

模型、方程与假设

用于 AI 评估与保障的模型结构、其所作的假设,以及每项假设的检验方式。

要素 i 的风险Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力
预期年度损失EAL = ∑k pk · Lkover events k with annual probability pk
耦合系统xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
假设为何制作如何检验
在一次事件中,危害与暴露相互独立使损失积分保持可计算与基于联合记录拟合的 copula 进行比较
耦合在工作点附近是线性的让冲击通过 A 传播在线性范围之外施加扰动并比较
脆弱性曲线可以在不同地点之间迁移使用很少有本地曲线可用在有观测损失的地方据此进行验证
输入
带溯源信息的版本化数据集
成果
分布,绝不是单一数字
代码
连同模型卡和测试一起发布
复现
相同的数据、代码、环境和随机种子
标准的风险与状态空间表述;所列假设是该方法的典型假设,供审查之用,并非结果。
FAIR 指导原则 · GO FAIR 和 FORCE11W3C PROV · 万维网联盟关于一致处理不确定性的指南 · IPCCCEOS 分析就绪数据 · 地球观测卫星委员会
06验证

结果如何核查。

评估方法会接受可靠性及与部署条件相关性的检验。独立复现和第三方审计用于检验各项论断。

核查如何开展
独立审查保证案例由未参与开发的人员审查
证据时效模型或部署发生变化后,重新核查证据
覆盖率报告评估会说明其未测试的内容

基准测试可能无法反映真实使用情况或新出现的能力。通用系统的行为是开放式的,难以进行完整测试。

07流程

流程如何运行。

Process explorer · Process

人工智能评估与保证:人工智能风险管理(NIST)

9 steps5 stages1 gate

流程

人工智能评估与保证:人工智能风险管理(NIST)

AI RMF 核心包含四项职能:GOVERN、MAP、MEASURE 和 MANAGE,其中 GOVERN 贯穿其他各项;图中所示顺序只是一种常见的解读方式,并非检查清单。

  1. 01 治理

    1. 01GOVERN:政策、角色与问责步骤 · 人工智能风险委员会GOVERN 是贯穿各环节的职能。它渗透于人工智能风险管理的全过程,并为其他职能提供支撑。
  2. 02 Map

    1. 02MAP:背景和预期用途数据集MAP 职能建立背景,以界定与人工智能系统相关的风险,包括预期目的和对人的影响。
  3. 03 衡量

    1. 03衡量:评估可信特性建模AI 系统 需评估其可信特性。应在部署前以及运行期间定期对其进行测试。
    2. 04MEASURE:随时间跟踪已识别的风险建模已建立随时间跟踪已识别人工智能风险的机制,包括未预见的和新出现的风险。
  4. 04 管理

    1. 05MANAGE:处置风险步骤风险处置 计划涵盖事件的响应、恢复和沟通。资源将投向已绘制和已衡量的风险。
    2. 06是否继续(MANAGE 1.1)关口 · 人工智能风险委员会判定系统是否满足其目的和目标,以及是否继续推进。该框架未设定阈值。
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08部署后监测与事件建模部署后监测计划已实施。事件和错误将与相关人工智能参与方共享,包括受影响的社区。
  5. 05 记录

    1. 09人工智能系统清单数据集GOVERN 1.6 要求建立 AI 系统清单编制机制。模型卡是常见做法,框架中并未提及。

对已发布的外部标准或方法的中立概述,内容来自其发布机构。并非运行记录。Nexus 不执行、认证或批准所示的任何步骤。关卡或决定归属于来源所指明的一方。这些行动不一定构成有先后顺序的步骤。本流程图未纳入欧盟《人工智能法案》。

09管理责任

由谁维护该方法。

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10问题

问题与解答。

AI 评估和保障工程在该领域有哪些局限?
基准测试可能无法反映真实使用情况或新出现的能力。通用系统的行为是开放式的,难以进行完整测试。
结果如何核查?
评估方法会接受可靠性及与部署条件相关性的检验。独立复现和第三方审计用于检验各项论断。
本页面上的数值是真实的吗?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
该方法还应用于何处?
维持社会运转的 规范方法页面 列出应用该方法的每个平台。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI人工智能与自主系统指数级技术Labs 证据
人工智能与自主系统

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。