Skip to content

GCRI · Искусственный интеллект и автономные системы

Статистика для оценки ИИ

Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.

Направить запрос Back to STEM foundation of Artificial Intelligence and Autonomous Systems
01Реестр

Statistics for AI evaluation on the record.

Запись о методеSTEM-метод
  1. МетодТеория вероятностей и статистика
  3. Применяется вСтудия «Искусственный интеллект и автономные Системная
  4. Данные3 inputs
  6. Каноническая страницаSTEM Commons
02Заявка

What probability and statistics does here.

Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected системы. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons.

Uncertainty on benchmark scores

Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.

Calibration assessment

Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.

Audit sampling

Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.

03Методы и доказательная база

How Statistics for AI evaluation is modelled, measured and tested.

Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.

Модель, уравнения и допущения

The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.

Риск элемента iRi = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагирования
Ожидаемый годовой ущербEAL = ∑k pk · Lkпо событиям k с годовой вероятностью pk
Связанные системыxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
ДопущениеЗачем это создаётсяКак это проверяется
В пределах события опасность и подверженность независимыДелает интеграл убытков вычислимымСравнить с подгонкой копулы по совместным записям
Вблизи рабочей точки связи линейныПозволяет потрясениям распространяться через AВыйдите за пределы линейного диапазона и сравните
Кривые уязвимости переносятся между местамиМестные кривые редко доступныПроверять по наблюдаемым убыткам там, где они есть
Исходные данные
версионированные наборы данных с указанием происхождения
Результаты
распределения, а не отдельные числа
Код
выпускается вместе с карточкой модели и тестами
Воспроизведение
те же данные, код, среда и начальное значение
Стандартные формулировки риска и пространства состояний; перечисленные допущения типичны для метода и приведены для рецензирования, а не как результаты.
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
04Данные

Что потребляет метод.

Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in реестре источников.

ДанныеРольМетка
Evaluation outputsScore estimationНАБЛЮДАЕМО
Labelled audit samplesError estimationНАБЛЮДАЕМО
Prediction logsКалибровкаНАБЛЮДАЕМО
05Процесс

Как устроен процесс.

Process explorer · Process

Statistics for AI evaluation: Catastrophe model pipeline

10 steps5 этапов

Процесс

Statistics for AI evaluation: Catastrophe model pipeline

Модели катастроф обычно включают модули опасности, уязвимости, подверженности и финансовый модуль и выдают таблицы убытков, средние годовые потери, кривые превышения, PML и TVaR.

  1. 01 Опасность

    1. 01Каталог событийНабор данных · Разработчик моделиМодуль опасности содержит большой каталог смоделированных событий, представляющий широкий спектр правдоподобных сценариев.
    2. 03Модуль опасностиМодель · Разработчик моделиДля каждого события модуль опасности даёт локальную интенсивность опасности , которую считывает модуль уязвимости.

  2. 02 Подверженность и ущерб

    1. 02ПодверженностьDataset · Incident responderМодуль подверженности содержит данные портфеля, например информацию о местоположении.
    2. 04Модуль уязвимостиМодель · Разработчик моделиМодуль уязвимости количественно оценивает ожидаемый ущерб от события для объектов подверженности.

  3. 03 Финансовые аспекты

    1. 05Финансовый модульModel · Incident responderФинансовый модуль рассчитывает убытки по всем сценариям событий. Полные, валовые и чистые убытки различаются, как показано ниже.
    2. 06Таблица убытков от событийDataset · Incident responderТаблица убытков от событий перечисляет каждое событие с его годовой вероятностью наступления и убытком для портфеля.
    3. 07Таблица годовых убытковDataset · Incident responderНекоторые модели также генерируют смоделированные годы на основе убытков от событий. Это описание не раскрывает их формат.

  4. 04 Метрики

    1. 08Вероятность превышения curvesModel · Incident responderКривая наступления показывает вероятность того, что наибольший убыток за год превысит определённую сумму. Агрегированная кривая показывает то же для суммы убытков.
    2. 09AAL, PML и TVaRModel · Incident responderСреднегодовой убыток складывается из произведений вероятности события на убыток. PML представляет собой одну точку на кривой наступления.

  5. 05 Использование результатов

    1. 10Использование результатовDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

Описание внешнего стандарта или метода по его публичным источникам. Оно описывает, что говорит рамочная основа, а не запись о каком-либо прогоне. Оно не показывает, что Nexus или какой-либо партнёр выполняет, сертифицирует или утверждает какой-либо шаг. Этап является шагом метода и никогда не является утверждением Nexus.

06Валидация

Как проверяются результаты.

Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.

ПроверкаКак это делается
Interval reportingEvery metric is reported with its uncertainty
Multiple comparisonsComparisons across many tasks are corrected for multiple testing
Sample size planningAudit samples are sized to detect differences of stated magnitude

Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.

07Связи

Темы, опирающиеся на этот метод.

08Ведение и сопровождение

Кто ведёт метод.

Системная наука и моделирование stewards probability and statistics for the Consortium and reviews how it is applied across platforms.

Canonical page: Probability and statistics

09Связано

Куда ведёт эта страница в рамках Консорциума.

10Вопросы

Вопросы и ответы.

What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
Как проверяются результаты?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRI«Искусственным интеллектом и автономными системами»Экспоненциальные технологииДоказательная база Labs

Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.

«Искусственным интеллектом и автономными системами»

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Предложить метод Все контакты для обращений
Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.