Skip to content

GCRI · Инженерия

Инженерия оценки и обеспечения уверенности в ИИ

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02Метод

What aI evaluation and assurance engineering covers.

  1. 01

    Основные методы

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    Данные и приборы

    evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.

  3. 03

    Валидация

    Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

  4. 04

    Ограничения

    Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

  5. 05

    Использование в решениях о рисках

    AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.

03Эталонная практика

AI assurance draws on risk frameworks, management systems and evaluation practice.

СправкаЧто устанавливает
NIST AI RMFMeasure and manage functions
ISO/IEC 42001Система управления искусственным интеллектом
EU AI Act conformity requirementsObligations for high-risk systems, applied in stages
OECD AI Incidents MonitorРеестр зарегистрированных инцидентов с ИИ
04Процесс

Как устроен процесс.

Process explorer · Process

AI evaluation and assurance engineering: AI risk management (NIST)

9 steps5 stages1 gate

Процесс

AI evaluation and assurance engineering: AI risk management (NIST)

Ядро AI RMF содержит четыре функции: GOVERN, MAP, MEASURE и MANAGE, причём GOVERN является сквозной; показанный порядок представляет собой одно из распространённых прочтений, а не контрольный перечень.

  1. 01 Управление

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: контекст и предполагаемое использованиеНабор данныхФункция MAP устанавливает контекст для определения рисков, связанных с системой ИИ, включая предполагаемые цели и воздействие на людей.
  3. 03 Измерение

    1. 03MEASURE: оценка характеристик, обеспечивающих довериеМодельAI системы ИИ оцениваются на соответствие характеристикам надёжности. Их следует тестировать перед внедрением и регулярно в ходе эксплуатации.
    2. 04MEASURE: отслеживание выявленных рисков во времениМодельДействуют механизмы отслеживания выявленных рисков ИИ во времени, включая непредвиденные и возникающие риски.
  4. 04 Управление

    1. 05MANAGE: обработка рисковШагОбработка риска охватывают реагирование на инциденты, восстановление после них и информирование о них. Ресурсы направляются на выявленные и измеренные риски.
    2. 06Продолжать или нет (MANAGE 1.1)Этап · технический офис GCRIОпределяется, соответствует ли система своим целям и задачам и следует ли продолжать работу. Рамочный подход не устанавливает пороговых значений.
    3. 07Решение о внедренииРешение · Технический офис GCRIОрганизация, которой принадлежит система, решает, развёртывать ли её и на каких условиях.
    4. 08Мониторинг после внедрения и инцидентыМодельПланы мониторинга после внедрения реализуются. Информация об инцидентах и ошибках передаётся соответствующим участникам сферы ИИ, включая затронутые сообщества.
  5. 05 Запись

    1. 09Инвентаризация систем ИИНабор данныхGOVERN 1.6 требует механизмов инвентаризации систем ИИ. Карточка модели является распространённой практикой и в рамочном документе не названа.

Нейтральное описание опубликованного внешнего стандарта или метода, составленное по материалам выпустившей его организации. Не является записью об эксплуатации. Nexus не выполняет, не сертифицирует и не утверждает ни один из показанных шагов. Контрольная точка или решение относятся к стороне, названной в источнике. Действия не обязательно образуют упорядоченный набор шагов. Закон ЕС об ИИ (EU AI Act) в этой схеме не отражён.

05В работе по системным рискам

Evidence that an AI system is fit for its use.

Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.

07Ведение и сопровождение

Кто ведёт эту страницу.

Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.

09Вопросы

Вопросы и ответы.

Почему одно учреждение размещает все страницы методов?
GCRI размещает STEM Commons, чтобы у каждого метода было одно каноническое описание. Платформы ссылаются на него, а не повторяют его, что обеспечивает согласованность определений.
Как предложить исправление к странице метода?
Пишите форму сообщения о проблемах добросовестности , указав фрагмент и причину.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

GCRI
Global Centre for Risk and Innovation

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.