Assurance cases for AI systems
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
GCRI · Искусственный интеллект и автономные системы
AI evaluation and assurance engineering is the second method this platform stewards. It provides the evidence that an AI system is fit for a stated use: evaluations, red teaming, documentation, monitoring and the structured arguments that tie them together.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.
После выпуска отслеживаются инциденты, жалобы и показатели эффективности, а условия для пересмотра или отката определяются заранее.
Экран, который команда использовала бы для следования этому методу: его показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.
AI and autonomous systems · AI evaluation and assurance · Run R-0951
| Возможности | 585 | 89 | Выпуск | Пролёт |
| Робастность | 133 | 72 | Выпуск | Пролёт |
| Bias and fairness | 169 | 81 | Выпуск | Пролёт |
| Red team по выявлению злоупотреблений | 142 | 79 | Deploy | Открытые замечания |
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| Данные | Роль | Метка |
|---|---|---|
| Результаты оценки | Evidence for claims | НАБЛЮДАЕМО |
| Red-team reports | Failure discovery | СООБЩЕНО |
| Журналы инцидентов | Field evidence | СООБЩЕНО |
| Системная документация | Scope and assumptions | ЗАДЕКЛАРИРОВАНО |
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагированияEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Допущение | Зачем это создаётся | Как это проверяется |
|---|---|---|
| В пределах события опасность и подверженность независимы | Делает интеграл убытков вычислимым | Сравнить с подгонкой копулы по совместным записям |
| Вблизи рабочей точки связи линейны | Позволяет потрясениям распространяться через A | Выйдите за пределы линейного диапазона и сравните |
| Кривые уязвимости переносятся между местами | Местные кривые редко доступны | Проверять по наблюдаемым убыткам там, где они есть |
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Проверка | Как это делается |
|---|---|
| Независимый обзор | Assurance cases are reviewed by people not involved in development |
| Evidence currency | Evidence is re-checked after model or deployment changes |
| Отчётность о охвате | Evaluations state what they did not test |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Process explorer · Process
9 steps·5 stages·1 gate
Процесс
Ядро AI RMF содержит четыре функции: GOVERN, MAP, MEASURE и MANAGE, причём GOVERN является сквозной; показанный порядок представляет собой одно из распространённых прочтений, а не контрольный перечень.
Нейтральное описание опубликованного внешнего стандарта или метода, составленное по материалам выпустившей его организации. Не является записью об эксплуатации. Nexus не выполняет, не сертифицирует и не утверждает ни один из показанных шагов. Контрольная точка или решение относятся к стороне, названной в источнике. Действия не обязательно образуют упорядоченный набор шагов. Закон ЕС об ИИ (EU AI Act) в этой схеме не отражён.
Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.
Этот сайт использует только строго необходимые файлы cookie для своей работы и для сохранения ваших настроек конфиденциальности. Ничего не загружается от других компаний, и мы никогда не продаём и не передаём вашу личную информацию.
Этот сайт использует только строго необходимые файлы cookie для своей работы и для сохранения ваших настроек конфиденциальности. Ничего не загружается от других компаний, и мы никогда не продаём и не передаём вашу личную информацию. Мы не размещаем рекламу. Вы можете в любое время пересмотреть свой выбор в разделе «Настройки конфиденциальности» внизу каждой страницы.
Политика в отношении файлов cookieПолитика конфиденциальности