Skip to content

GCRI · Искусственный интеллект и автономные системы

Оценка и обеспечение уверенности в системах ИИ

AI evaluation and assurance engineering is the second method this platform stewards. It provides the evidence that an AI system is fit for a stated use: evaluations, red teaming, documentation, monitoring and the structured arguments that tie them together.

01Реестр

AI evaluation and assurance on the record.

Запись о методеSTEM-метод
  1. МетодИнженерия оценки и обеспечения уверенности в ИИ
  2. РаспорядительСтудия «Искусственный интеллект и автономные Системная
  3. Применяется в«Искусственным интеллектом и автономными системами»
  4. Canonical pageSTEM Commons
02Заявка

Что делает здесь инженерия оценки и обеспечения уверенности для систем ИИ.

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Structured red teaming

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

Мониторинг после внедрения

После выпуска отслеживаются инциденты, жалобы и показатели эффективности, а условия для пересмотра или отката определяются заранее.

03Мониторинг

Evaluation suite.

Экран, который команда использовала бы для следования этому методу: его показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.

Evaluation suite

AI and autonomous systems · AI evaluation and assurance · Run R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

Evaluation suites

Возможности58589ВыпускПролёт
Робастность13372ВыпускПролёт
Bias and fairness16981ВыпускПролёт
Red team по выявлению злоупотреблений14279DeployОткрытые замечания

Карточка метода

Метод
Инженерия оценки и обеспечения уверенности в ИИ
Модель
M-196 v1
Владелец
model risk function
Метка
СМОДЕЛИРОВАНО

Выводы

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04Данные

Что потребляет метод.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

ДанныеРольМетка
Результаты оценкиEvidence for claimsНАБЛЮДАЕМО
Red-team reportsFailure discoveryСООБЩЕНО
Журналы инцидентовField evidenceСООБЩЕНО
Системная документацияScope and assumptionsЗАДЕКЛАРИРОВАНО
05Методы и доказательная база

Как моделируются, измеряются и тестируются оценка и обеспечение уверенности в области ИИ.

Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.

Модель, уравнения и допущения

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

Риск элемента iRi = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагирования
Ожидаемый годовой ущербEAL = ∑k pk · Lkover events k with annual probability pk
Связанные системыxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
ДопущениеЗачем это создаётсяКак это проверяется
В пределах события опасность и подверженность независимыДелает интеграл убытков вычислимымСравнить с подгонкой копулы по совместным записям
Вблизи рабочей точки связи линейныПозволяет потрясениям распространяться через AВыйдите за пределы линейного диапазона и сравните
Кривые уязвимости переносятся между местамиМестные кривые редко доступныПроверять по наблюдаемым убыткам там, где они есть
Исходные данные
версионированные наборы данных с указанием происхождения
Результаты
распределения, а не отдельные числа
Код
выпускается вместе с карточкой модели и тестами
Воспроизведение
те же данные, код, среда и начальное значение
Стандартные формулировки риска и пространства состояний; перечисленные допущения типичны для метода и приведены для рецензирования, а не как результаты.
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
06Валидация

Как проверяются результаты.

Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

ПроверкаКак это делается
Независимый обзорAssurance cases are reviewed by people not involved in development
Evidence currencyEvidence is re-checked after model or deployment changes
Отчётность о охватеEvaluations state what they did not test

Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

07Процесс

Как устроен процесс.

Process explorer · Process

Оценка ИИ и обеспечение уверенности: управление рисками ИИ (NIST)

9 steps5 stages1 gate

Процесс

Оценка ИИ и обеспечение уверенности: управление рисками ИИ (NIST)

Ядро AI RMF содержит четыре функции: GOVERN, MAP, MEASURE и MANAGE, причём GOVERN является сквозной; показанный порядок представляет собой одно из распространённых прочтений, а не контрольный перечень.

  1. 01 Управление

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: контекст и предполагаемое использованиеНабор данныхФункция MAP устанавливает контекст для определения рисков, связанных с системой ИИ, включая предполагаемые цели и воздействие на людей.
  3. 03 Измерение

    1. 03MEASURE: оценка характеристик, обеспечивающих довериеМодельAI системы ИИ оцениваются на соответствие характеристикам надёжности. Их следует тестировать перед внедрением и регулярно в ходе эксплуатации.
    2. 04MEASURE: отслеживание выявленных рисков во времениМодельДействуют механизмы отслеживания выявленных рисков ИИ во времени, включая непредвиденные и возникающие риски.
  4. 04 Управление

    1. 05MANAGE: обработка рисковШагОбработка риска охватывают реагирование на инциденты, восстановление после них и информирование о них. Ресурсы направляются на выявленные и измеренные риски.
    2. 06Продолжать или нет (MANAGE 1.1)Контрольная точка · Комитет по рискам ИИОпределяется, соответствует ли система своим целям и задачам и следует ли продолжать работу. Рамочный подход не устанавливает пороговых значений.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08Мониторинг после внедрения и инцидентыМодельПланы мониторинга после внедрения реализуются. Информация об инцидентах и ошибках передаётся соответствующим участникам сферы ИИ, включая затронутые сообщества.
  5. 05 Запись

    1. 09Инвентаризация систем ИИНабор данныхGOVERN 1.6 требует механизмов инвентаризации систем ИИ. Карточка модели является распространённой практикой и в рамочном документе не названа.

Нейтральное описание опубликованного внешнего стандарта или метода, составленное по материалам выпустившей его организации. Не является записью об эксплуатации. Nexus не выполняет, не сертифицирует и не утверждает ни один из показанных шагов. Контрольная точка или решение относятся к стороне, названной в источнике. Действия не обязательно образуют упорядоченный набор шагов. Закон ЕС об ИИ (EU AI Act) в этой схеме не отражён.

09Ведение и сопровождение

Кто ведёт метод.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10Вопросы

Вопросы и ответы.

What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Как проверяются результаты?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

GCRI«Искусственным интеллектом и автономными системами»Экспоненциальные технологииДоказательная база Labs
«Искусственным интеллектом и автономными системами»

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.