Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Искусственный интеллект и автономные системы
Кибербезопасность для систем ИИ
Cybersecurity and cryptography protect AI системы and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01Реестр
Cybersecurity for AI systems on the record.
Запись о методеSTEM-метод
- МетодКибербезопасность и криптография
- Распорядитель«Кибербезопасность и цифровая устойчивость»
- Применяется вСтудия «Искусственный интеллект и автономные Системная
- Данные3 inputs
- ПроверкиШагов валидации: 3
- Каноническая страницаSTEM Commons
02Заявка
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information системы and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03Мониторинг
Security assessment.
Экран, который команда использовала бы для следования этому методу: его показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · Искусственный интеллект и автономные системы
Выводы
| Weak key rotation | Identity service | Высокий | PR.AA | Открыть |
| Unpatched gateway | Edge | Высокий | PR.PS | Fixing |
| Logging gap | API платежей | Средний | DE.CM | Открыть |
| Stale accounts | Каталог | Низкий | PR.AA | Закрыто |
Карточка метода
- Метод
- Кибербезопасность и криптография
- Система
- Функции CSF 2.0
- Охват
- 54 assets
- Метка
- СМОДЕЛИРОВАНО
Control coverage by function
04Данные
Что потребляет метод.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in реестре источников.
| Данные | Роль | Метка |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | СООБЩЕНО |
| Vulnerability databases | Known flaws | СООБЩЕНО |
| Security test results | Defence performance | НАБЛЮДАЕМО |
05Симулятор
Каскад через взаимозависимые сети.
A След опасности выводит из строя совместно расположенные активы на каждом уровне; затем сбой распространяют фрагментация, зависимость между уровнями и перегрузка уцелевших. Вид 3D разделяет уровни по глубине. Учебная модель с заданными иллюстративными значениями, а не прогноз.
Меры контроля
- Активы по слоям
- 18
- След опасности
- 8% площади
- Активы, зависящие от другого слоя
- 60%
- Резервная мощность (допуск)
- 30%
Показания
- Объекты, пострадавшие от опасности
- 2%
- Объекты, которые продолжают работать
- 72%
- Усиление первоначального ущерба
- 15.0 times
- Шаги до стабилизации
- 3
Числа, методы и источники
| Шаг | Центры обработки данных в работе (%) | Сети в работе (%) | Энергоснабжение работает (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
Методы
- Взаимозависимые сети Buldyrev и др. (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- Каскады перегрузок Motter and Lai (2002), Physical Review E 66
- Нагрузка по посредничеству Brandes (2001), Journal of Mathematical Sociology 25
- Многослойные сети Kivela and others (2014), Journal of Complex Networks 2
- Взаимозависимости инфраструктуры Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- Веер неопределённости (параметрический метод Монте-Карло) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- Анализ чувствительности по одному фактору (торнадо) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Данные
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Магистральные дороги Natural Earth
- Железные дороги Natural Earth
- Морские порты Natural Earth
- Аэропорты Natural Earth
- Городские границы Natural Earth
- Ночные огни сегодня, отключения (VIIRS Day/Night Band) NASA/NOAA VIIRS (Suomi NPP) · register nasa.gibs.context-live-layers
- Природные события (NASA EONET) NASA EONET · register nasa.eonet.events
По шести опорам, под руководством Nexus Consortium
- Эксперименты Лаборатории
- Построено в Искусственный интеллект и автономные системы в Foundry
- Проверено в Искусственный интеллект и автономные системы в Universe
- Закреплено в Цифровые технологии, кибербезопасность и ИИ в Standards
- Опубликовано в «Искусственный интеллект и автономные системы» в Reports
- Преподаётся в Факультет технологий и цифровых систем в Academy
06Валидация
Как проверяются результаты.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Проверка | Как это делается |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07Методы и доказательная база
How Cybersecurity for AI systems is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Модель, уравнения и допущения
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Риск элемента i
Ri = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагированияОжидаемый годовой ущерб
EAL = ∑k pk · Lkпо событиям k с годовой вероятностью pkСвязанные системы
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Допущение | Зачем это создаётся | Как это проверяется |
|---|---|---|
| В пределах события опасность и подверженность независимы | Делает интеграл убытков вычислимым | Сравнить с подгонкой копулы по совместным записям |
| Вблизи рабочей точки связи линейны | Позволяет потрясениям распространяться через A | Выйдите за пределы линейного диапазона и сравните |
| Кривые уязвимости переносятся между местами | Местные кривые редко доступны | Проверять по наблюдаемым убыткам там, где они есть |
- Исходные данные
- версионированные наборы данных с указанием происхождения
- Результаты
- распределения, а не отдельные числа
- Код
- выпускается вместе с карточкой модели и тестами
- Воспроизведение
- те же данные, код, среда и начальное значение
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
08Связи
Темы, опирающиеся на этот метод.
09Ведение и сопровождение
Кто ведёт метод.
«Кибербезопасность и цифровая устойчивость» stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10Связано
Куда ведёт эта страница в рамках Консорциума.
11Вопросы
Вопросы и ответы.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
Как проверяются результаты?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRI«Искусственным интеллектом и автономными системами»Экспоненциальные технологииДоказательная база Labs
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
«Искусственным интеллектом и автономными системами»
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Правовая информация
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.