GCRI · 工程
AI 评估与保证工程
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
人工智能评估与保证工程涵盖的内容。
- 01
核心方法
capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.
- 02
数据与工具
评估基准;事件报告;模型文档;部署日志;人类反馈记录。
- 03
验证
评估方法会接受可靠性及与部署条件相关性的检验。独立复现和第三方审计用于检验各项论断。
- 04
局限
基准测试可能无法反映实际使用情况或新颖能力。通用 系统 的行为不受限定,难以进行完整测试。
- 05
在风险决策中的使用
AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.
人工智能保证借鉴风险框架、管理体系和评估实践。
| 编号 | 它规定了什么 |
|---|---|
| NIST AI RMF | 衡量与管理职能 |
| ISO/IEC 42001 | AI management system |
| 欧盟《人工智能法》合规性要求 | Obligations for high-risk systems, applied in stages |
| OECD AI 事件监测 | Record of reported AI incidents |
流程如何运行。
Process explorer · Process
人工智能评估与保障工程:人工智能风险管理(NIST)
9 steps·5 stages·1 gate
流程
人工智能评估与保障工程:人工智能风险管理(NIST)
AI RMF 核心包含四项职能:GOVERN、MAP、MEASURE 和 MANAGE,其中 GOVERN 贯穿其他各项;图中所示顺序只是一种常见的解读方式,并非检查清单。
01 治理
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP:背景和预期用途数据集MAP 职能建立背景,以界定与人工智能系统相关的风险,包括预期目的和对人的影响。
03 衡量
- 03衡量:评估可信特性建模AI 系统 需评估其可信特性。应在部署前以及运行期间定期对其进行测试。
- 04MEASURE:随时间跟踪已识别的风险建模已建立随时间跟踪已识别人工智能风险的机制,包括未预见的和新出现的风险。
04 管理
- 05MANAGE:处置风险步骤风险处置 计划涵盖事件的响应、恢复和沟通。资源将投向已绘制和已衡量的风险。
- 06是否继续(MANAGE 1.1)关口 · GCRI 技术办公室判定系统是否满足其目的和目标,以及是否继续推进。该框架未设定阈值。
- 07部署决策决定 · GCRI 技术办公室拥有该系统的组织决定是否部署以及在何种条件下部署。
- 08部署后监测与事件建模部署后监测计划已实施。事件和错误将与相关人工智能参与方共享,包括受影响的社区。
05 记录
- 09人工智能系统清单数据集GOVERN 1.6 要求建立 AI 系统清单编制机制。模型卡是常见做法,框架中并未提及。
对已发布的外部标准或方法的中立概述,内容来自其发布机构。并非运行记录。Nexus 不执行、认证或批准所示的任何步骤。关卡或决定归属于来源所指明的一方。这些行动不一定构成有先后顺序的步骤。本流程图未纳入欧盟《人工智能法案》。
应用该方法的平台。
谁维护本页面。
Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.
Where this page’s references lead.
阅读本页时所对照的机构和文件。状态和版本会变化;每个链接都指向发布机构。
问题与解答。
为什么由一个机构托管所有方法页面?
如何对方法页面提出更正建议?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件网关 GW-GCRI从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告GCRI查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。