GCRI · Искусственный интеллект и автономные системы
Оценка моделей
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
- 01ВопросModel evaluation: how the risk develops
- 02По всем областямEvaluation must reflect the domain where a model is used
- 03ИндикаторыЧто измеряется и насколько хорошо
- 04ИсточникиОткуда берётся доказательная база
- 05РешенияКто принимает решения и чему служит доказательная база
- 06Ключевые вопросыWhat evaluators ask
- 07МеханизмыWhy scores mislead
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
Реестр моделей.
Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.
Реестр моделей
Model evaluation · Model registry · Release gate
Модели
| M-184 triage assistant | Государственная услуга | Высокий | 19 of 24 suites | Заблокировано |
| M-320 flood nowcast | Наука | Средний | 12 из 12 | Выпущено |
| M-157 document search | Внутренний | Низкий | 8 of 8 | Выпущено |
| M-563 agent planner | Агентный | Высокий | 12 of 16 | Оценивается |
Карточка модели
- Назначение
- поддержка сортировки, решает человек
- Вне рамок
- решения о праве на получение услуг
- Известные ограничения
- более низкая точность в редких случаях
- Владелец
- Владелец модели
Журнал инцидентов
- D-21INCВыдуманная ссылка в резюме
- D-9MITДобавлена привязка к извлечённым источникам
- D-2INCВнедрение инструкций через загруженный файл
- D-1MITПрава инструмента сужены
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- ЗдравоохранениеВзаимосвязиClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- ВодаВзаимосвязиHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- ПродовольствиеВзаимосвязиCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the серии Labs Evidence. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Модель, уравнения и допущения
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагированияEAL = ∑k pk · Lkпо событиям k с годовой вероятностью pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Допущение | Зачем это создаётся | Как это проверяется |
|---|---|---|
| В пределах события опасность и подверженность независимы | Делает интеграл убытков вычислимым | Сравнить с подгонкой копулы по совместным записям |
| Вблизи рабочей точки связи линейны | Позволяет потрясениям распространяться через A | Выйдите за пределы линейного диапазона и сравните |
| Кривые уязвимости переносятся между местами | Местные кривые редко доступны | Проверять по наблюдаемым убыткам там, где они есть |
- Исходные данные
- версионированные наборы данных с указанием происхождения
- Результаты
- распределения, а не отдельные числа
- Код
- выпускается вместе с карточкой модели и тестами
- Воспроизведение
- те же данные, код, среда и начальное значение
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | СООБЩЕНО |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | ЗАДЕКЛАРИРОВАНО |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | СООБЩЕНО |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | НАБЛЮДАЕМО |
| Post-deployment incident reports | count by type | ежемесячно | Incident monitoring | СООБЩЕНО |
| Ошибка калибровки | expected calibration error | per evaluation | Evaluation on held-out data | НАБЛЮДАЕМО |
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| Международный доклад по безопасности ИИ | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | Открыто, CC BY 4.0 |
Кто принимает решения и чему служит доказательная база.
Студия «Искусственный интеллект и автономные Системная prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Разработчикам | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
Результаты, которые даёт эта тема
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as сдвиге распределения, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with теорию вероятностей и статистику. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using социальные и поведенческие науки methods for rater agreement. Human judgement is costly and can be inconsistent.
Как это изучается и чего методы не могут сказать.
- 01Инженерия оценки и обеспечения уверенности в ИИОбоснования для обеспечения уверенности в системах ИИ · Структурированное тестирование «красной командой» · Мониторинг после развёртыванияПрименяется здесь
- 02Теория вероятностей и статистикаНеопределённость оценок на эталонных тестах · Оценка калибровки · Выборка для аудитаПрименяется здесь
- 03Искусственный интеллект и машинное обучениеАнализ сдвига распределения · Дообучение для конкретного применения · Методы интерпретируемостиПрименяется здесь
- 04Социальные и поведенческие наукиИсследования человеческого надзора · Исследования затронутых сообществ · Исследования внедрения на рабочих местахПрименяется здесь
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
Куда ведёт эта страница в рамках Консорциума.
Вопросы и ответы.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.