Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · Искусственный интеллект и автономные системы
Поведение машинного обучения
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
01Реестр
Machine learning behaviour on the record.
Запись о методеSTEM-метод
- МетодИскусственный интеллект и машинное обучение
- РаспорядительСтудия «Искусственный интеллект и автономные Системная
- Применяется в«Искусственным интеллектом и автономными системами»
- Данные3 inputs
- ПроверкиШагов валидации: 3
- Каноническая страницаSTEM Commons
02Заявка
Что здесь делают искусственный интеллект и машинное обучение.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected системы. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM Commons.
Fine-tuning for a specific use
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Interpretability methods
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
03Симулятор
Пороговая модель коллективного поведения.
Каждый агент действует, когда это сделало достаточное число его контактов; небольшие изменения среднего порога или первых участников определяют, останется ли поведение локальным или каскадом охватит население. Учебная модель с заданными иллюстративными значениями, а не прогноз.
Меры контроля
- Средний порог (доля соседей)
- 18%
- Разброс порогов
- 8 пунктов
- Первые участники
- 2.0% населения
- Контакты на человека
- 8
Показания
- Доля тех, кто в итоге действовал
- 100%
- Глобальный каскад
- Да
- Шаги до стабилизации
- 10
Числа, методы и источники
| Шаг | Доля тех, кто уже действовал (%) |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
Методы
- Пороговые модели коллективного поведения Granovetter (1978), American Journal of Sociology 83
- Глобальные каскады в случайных сетях Watts (2002), PNAS 99
- Сложные заражения Centola and Macy (2007), American Journal of Sociology 113
- Анализ чувствительности по одному фактору (торнадо) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Данные
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
По шести опорам, под руководством Nexus Consortium
- Эксперименты Лаборатории
- Построено в Искусственный интеллект и автономные системы в Foundry
- Проверено в Искусственный интеллект и автономные системы в Universe
- Закреплено в Цифровые технологии, кибербезопасность и ИИ в Standards
- Опубликовано в «Искусственный интеллект и автономные системы» в Reports
- Преподаётся в Факультет технологий и цифровых систем в Academy
04Данные
Что потребляет метод.
Используемые на этой платформе наборы данных и записи по направлению «Искусственный интеллект и машинное обучение», с ролью каждого и меткой, которую несут его значения. Источники перечислены в реестре источников.
| Данные | Роль | Метка |
|---|---|---|
| Training and validation datasets with documentation | Model development | ЗАДЕКЛАРИРОВАНО |
| Deployment input logs | Shift detection | НАБЛЮДАЕМО |
| Benchmark suites | Comparison | СООБЩЕНО |
05Методы и доказательная база
How machine learning behaviour is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Модель, уравнения и допущения
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
Риск элемента i
Ri = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагированияОжидаемый годовой ущерб
EAL = ∑k pk · Lkпо событиям k с годовой вероятностью pkСвязанные системы
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Допущение | Зачем это создаётся | Как это проверяется |
|---|---|---|
| В пределах события опасность и подверженность независимы | Делает интеграл убытков вычислимым | Сравнить с подгонкой копулы по совместным записям |
| Вблизи рабочей точки связи линейны | Позволяет потрясениям распространяться через A | Выйдите за пределы линейного диапазона и сравните |
| Кривые уязвимости переносятся между местами | Местные кривые редко доступны | Проверять по наблюдаемым убыткам там, где они есть |
- Исходные данные
- версионированные наборы данных с указанием происхождения
- Результаты
- распределения, а не отдельные числа
- Код
- выпускается вместе с карточкой модели и тестами
- Воспроизведение
- те же данные, код, среда и начальное значение
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
06Валидация
Как проверяются результаты.
Модели оцениваются на отложенных данных с учётом пространственной, временной и групповой структуры. Устойчивость, калибровка и справедливость проверяются наряду с точностью.
| Проверка | Как это делается |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
Эффективность снижается, когда условия развёртывания отличаются от обучающих данных. Модели могут кодировать предвзятость и давать сбои без явного предупреждения при редких событиях.
08Ведение и сопровождение
Кто ведёт метод.
Студия «Искусственный интеллект и автономные Системная ведёт и сопровождает искусственный интеллект и машинное обучение для Консорциума и проводит рецензирование их применения на платформах.
09Вопросы
Вопросы и ответы.
Каковы пределы искусственного интеллекта и машинного обучения в этой области?
Эффективность снижается, когда условия развёртывания отличаются от обучающих данных. Модели могут кодировать предвзятость и давать сбои без явного предупреждения при редких событиях.
Как проверяются результаты?
Модели оцениваются на отложенных данных с учётом пространственной, временной и групповой структуры. Устойчивость, калибровка и справедливость проверяются наряду с точностью.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRI«Искусственным интеллектом и автономными системами»Экспоненциальные технологииДоказательная база Labs
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
«Искусственным интеллектом и автономными системами»
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Правовая информация
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.