GCRI · Инженерия
Инженерия оценки и обеспечения уверенности в ИИ
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
AI evaluation and assurance engineering in six parts.
- 01МетодЧто охватывает инженерия оценки и обеспечения уверенности в ИИ
- 02Reference practiceAI assurance draws on risk frameworks, management systems and evaluation practice
- 03In systemic risk workEvidence that an AI system is fit for its use
- 04Применяется вПлатформы, применяющие этот метод
- 05Ведение и сопровождениеКто ведёт эту страницу
- 06SourcesWhere this page’s references lead
What aI evaluation and assurance engineering covers.
- 01
Основные методы
capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.
- 02
Данные и приборы
evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.
- 03
Валидация
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
- 04
Ограничения
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
- 05
Использование в решениях о рисках
AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.
AI assurance draws on risk frameworks, management systems and evaluation practice.
| Справка | Что устанавливает |
|---|---|
| NIST AI RMF | Measure and manage functions |
| ISO/IEC 42001 | Система управления искусственным интеллектом |
| EU AI Act conformity requirements | Obligations for high-risk systems, applied in stages |
| OECD AI Incidents Monitor | Реестр зарегистрированных инцидентов с ИИ |
Как устроен процесс.
Process explorer · Process
AI evaluation and assurance engineering: AI risk management (NIST)
9 steps·5 stages·1 gate
Процесс
AI evaluation and assurance engineering: AI risk management (NIST)
Ядро AI RMF содержит четыре функции: GOVERN, MAP, MEASURE и MANAGE, причём GOVERN является сквозной; показанный порядок представляет собой одно из распространённых прочтений, а не контрольный перечень.
01 Управление
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP: контекст и предполагаемое использованиеНабор данныхФункция MAP устанавливает контекст для определения рисков, связанных с системой ИИ, включая предполагаемые цели и воздействие на людей.
03 Измерение
- 03MEASURE: оценка характеристик, обеспечивающих довериеМодельAI системы ИИ оцениваются на соответствие характеристикам надёжности. Их следует тестировать перед внедрением и регулярно в ходе эксплуатации.
- 04MEASURE: отслеживание выявленных рисков во времениМодельДействуют механизмы отслеживания выявленных рисков ИИ во времени, включая непредвиденные и возникающие риски.
04 Управление
- 05MANAGE: обработка рисковШагОбработка риска охватывают реагирование на инциденты, восстановление после них и информирование о них. Ресурсы направляются на выявленные и измеренные риски.
- 06Продолжать или нет (MANAGE 1.1)Этап · технический офис GCRIОпределяется, соответствует ли система своим целям и задачам и следует ли продолжать работу. Рамочный подход не устанавливает пороговых значений.
- 07Решение о внедренииРешение · Технический офис GCRIОрганизация, которой принадлежит система, решает, развёртывать ли её и на каких условиях.
- 08Мониторинг после внедрения и инцидентыМодельПланы мониторинга после внедрения реализуются. Информация об инцидентах и ошибках передаётся соответствующим участникам сферы ИИ, включая затронутые сообщества.
05 Запись
- 09Инвентаризация систем ИИНабор данныхGOVERN 1.6 требует механизмов инвентаризации систем ИИ. Карточка модели является распространённой практикой и в рамочном документе не названа.
Нейтральное описание опубликованного внешнего стандарта или метода, составленное по материалам выпустившей его организации. Не является записью об эксплуатации. Nexus не выполняет, не сертифицирует и не утверждает ни один из показанных шагов. Контрольная точка или решение относятся к стороне, названной в источнике. Действия не обязательно образуют упорядоченный набор шагов. Закон ЕС об ИИ (EU AI Act) в этой схеме не отражён.
Evidence that an AI system is fit for its use.
Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.
- Define the use context before evaluating.
- Monitor after deployment; capability and use drift.
- Record incidents and near misses.
- Заявки на ИИ и автономные системы.
Платформы, применяющие этот метод.
Кто ведёт эту страницу.
Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
- Рамочная программа управления рисками ИИ NIST (NIST AI Risk Management Framework)
- ISO/IEC 42001:2023 Системы менеджмента искусственного интеллекта (ISO)
- Закон ЕС об искусственном интеллекте, график применения (Европейская комиссия)
- Монитор инцидентов и опасностей ИИ ОЭСР (OECD AI Incidents and Hazards Monitor)
Вопросы и ответы.
Почему одно учреждение размещает все страницы методов?
Как предложить исправление к странице метода?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.