Skip to content

GCRI · 工程

AI 评估与保证工程

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02方法

人工智能评估与保证工程涵盖的内容。

  1. 01

    核心方法

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    数据与工具

    评估基准;事件报告;模型文档;部署日志;人类反馈记录。

  3. 03

    验证

    评估方法会接受可靠性及与部署条件相关性的检验。独立复现和第三方审计用于检验各项论断。

  4. 04

    局限

    基准测试可能无法反映实际使用情况或新颖能力。通用 系统 的行为不受限定,难以进行完整测试。

  5. 05

    在风险决策中的使用

    AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.

03参考实践

人工智能保证借鉴风险框架、管理体系和评估实践。

编号它规定了什么
NIST AI RMF衡量与管理职能
ISO/IEC 42001AI management system
欧盟《人工智能法》合规性要求Obligations for high-risk systems, applied in stages
OECD AI 事件监测Record of reported AI incidents
04流程

流程如何运行。

Process explorer · Process

人工智能评估与保障工程:人工智能风险管理(NIST)

9 steps5 stages1 gate

流程

人工智能评估与保障工程:人工智能风险管理(NIST)

AI RMF 核心包含四项职能:GOVERN、MAP、MEASURE 和 MANAGE,其中 GOVERN 贯穿其他各项;图中所示顺序只是一种常见的解读方式,并非检查清单。

  1. 01 治理

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP:背景和预期用途数据集MAP 职能建立背景,以界定与人工智能系统相关的风险,包括预期目的和对人的影响。
  3. 03 衡量

    1. 03衡量:评估可信特性建模AI 系统 需评估其可信特性。应在部署前以及运行期间定期对其进行测试。
    2. 04MEASURE:随时间跟踪已识别的风险建模已建立随时间跟踪已识别人工智能风险的机制,包括未预见的和新出现的风险。
  4. 04 管理

    1. 05MANAGE:处置风险步骤风险处置 计划涵盖事件的响应、恢复和沟通。资源将投向已绘制和已衡量的风险。
    2. 06是否继续(MANAGE 1.1)关口 · GCRI 技术办公室判定系统是否满足其目的和目标,以及是否继续推进。该框架未设定阈值。
    3. 07部署决策决定 · GCRI 技术办公室拥有该系统的组织决定是否部署以及在何种条件下部署。
    4. 08部署后监测与事件建模部署后监测计划已实施。事件和错误将与相关人工智能参与方共享,包括受影响的社区。
  5. 05 记录

    1. 09人工智能系统清单数据集GOVERN 1.6 要求建立 AI 系统清单编制机制。模型卡是常见做法,框架中并未提及。

对已发布的外部标准或方法的中立概述,内容来自其发布机构。并非运行记录。Nexus 不执行、认证或批准所示的任何步骤。关卡或决定归属于来源所指明的一方。这些行动不一定构成有先后顺序的步骤。本流程图未纳入欧盟《人工智能法案》。

05在系统性风险工作中

Evidence that an AI system is fit for its use.

保证工作构建一套论证,说明系统在限定用途下是否足够安全,并以评估、红队测试、监测和事件记录为依据。对于 系统性风险 ,使用情境最为关键:同一模型用于起草可能是可接受的,用于分诊则可能不可接受。

  • Define the use context before evaluating.
  • Monitor after deployment; capability and use drift.
  • Record incidents and near misses.
  • 在 人工智能与自主系统.
07管理责任

谁维护本页面。

Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.

08来源

Where this page’s references lead.

阅读本页时所对照的机构和文件。状态和版本会变化;每个链接都指向发布机构。

09问题

问题与解答。

为什么由一个机构托管所有方法页面?
GCRI 托管 STEM Commons,使每种方法都有唯一的规范描述。各平台链接到该描述而不重复,从而保持定义一致。
如何对方法页面提出更正建议?
发送至 诚信关切表单 。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI
全球风险与创新中心(The Global Centre for Risk and Innovation)

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。