Assurance cases for AI systems
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
GCRI · 人工智能与自主系统
人工智能评估与保障工程是本平台负责管理的第二种方法。它提供证明人工智能系统适用于既定用途的证据:评估、红队测试、文档、监测,以及将这些内容联系起来的结构化论证。
人工智能评估与保障工程研发测试、监测并为人工智能 系统提供有依据的信心的方法。它涉及整个系统生命周期中的性能、稳健性、安全性和社会影响。在人工智能以及数据与算力领域,人工智能保障决定自动化系统能否在高后果场景中获得信任。当人工智能嵌入金融、卫生和基础设施时,它有助于管理风险。权威描述见 STEM Commons.
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
对抗性测试围绕威胁模型规划,并记录测试人员、范围、时间和发现,以便判断覆盖程度。
发布后会持续跟踪事件、投诉和绩效指标,并预先确定触发复核或回滚的条件。
团队遵循该方法时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。
AI and autonomous systems · AI evaluation and assurance · Run R-0951
| 能力 | 585 | 89 | 发布 | 通过 |
| 稳健性 | 133 | 72 | 发布 | 通过 |
| Bias and fairness | 169 | 81 | 发布 | 通过 |
| Misuse red team | 142 | 79 | 部署 | 未结发现 |
| 数据 | 角色 | 标签 |
|---|---|---|
| 评估结果 | Evidence for claims | 观测 |
| 红队报告 | Failure discovery | 已报告 |
| 事件日志 | Field evidence | 已报告 |
| 系统文档 | Scope and assumptions | 已声明 |
模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。
用于 AI 评估与保障的模型结构、其所作的假设,以及每项假设的检验方式。
Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 假设 | 为何制作 | 如何检验 |
|---|---|---|
| 在一次事件中,危害与暴露相互独立 | 使损失积分保持可计算 | 与基于联合记录拟合的 copula 进行比较 |
| 耦合在工作点附近是线性的 | 让冲击通过 A 传播 | 在线性范围之外施加扰动并比较 |
| 脆弱性曲线可以在不同地点之间迁移使用 | 很少有本地曲线可用 | 在有观测损失的地方据此进行验证 |
评估方法会接受可靠性及与部署条件相关性的检验。独立复现和第三方审计用于检验各项论断。
| 核查 | 如何开展 |
|---|---|
| 独立审查 | 保证案例由未参与开发的人员审查 |
| 证据时效 | 模型或部署发生变化后,重新核查证据 |
| 覆盖率报告 | 评估会说明其未测试的内容 |
基准测试可能无法反映真实使用情况或新出现的能力。通用系统的行为是开放式的,难以进行完整测试。
Process explorer · Process
9 steps·5 stages·1 gate
流程
AI RMF 核心包含四项职能:GOVERN、MAP、MEASURE 和 MANAGE,其中 GOVERN 贯穿其他各项;图中所示顺序只是一种常见的解读方式,并非检查清单。
对已发布的外部标准或方法的中立概述,内容来自其发布机构。并非运行记录。Nexus 不执行、认证或批准所示的任何步骤。关卡或决定归属于来源所指明的一方。这些行动不一定构成有先后顺序的步骤。本流程图未纳入欧盟《人工智能法案》。
Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。