Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Intelligence artificielle et systèmes autonomes
Cybersécurité pour les systèmes d'IA
Cybersecurity and cryptography protect AI systèmes and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01Registre
Cybersecurity for AI systems on the record.
Fiche de la méthodeMéthode STIM
- MéthodeCybersécurité et cryptographie
- Appliqué dansStudio Intelligence artificielle et systèmes
- Données3 inputs
- Vérifications3 étapes de validation
- Page canoniqueCommons STIM
02Candidature
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information systèmes and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on les STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03Suivi
Security assessment.
L'écran qu'une équipe utiliserait pour suivre cette méthode : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · Intelligence artificielle et systèmes autonomes
Constats
| Weak key rotation | Identity service | Élevé | PR.AA | Ouvrir |
| Unpatched gateway | Edge | Élevé | PR.PS | Fixing |
| Logging gap | API de paiement | Moyen | DE.CM | Ouvrir |
| Stale accounts | Annuaire | Faible | PR.AA | Clos |
Fiche méthode
- Méthode
- Cybersécurité et cryptographie
- Cadre
- Fonctions du CSF 2.0
- Périmètre
- 54 assets
- Étiquette
- MODÉLISÉ
Control coverage by function
04Données
Ce que consomme la méthode.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in le registre des sources.
| Données | Rôle | Étiquette |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | DÉCLARÉ |
| Vulnerability databases | Known flaws | DÉCLARÉ |
| Security test results | Defence performance | OBSERVÉ |
05Simulateur
Une cascade à travers des réseaux interdépendants.
A empreinte d'aléa emporte les actifs colocalisés dans chaque couche ; la fragmentation, la dépendance entre couches et la surcharge des survivants propagent ensuite la défaillance. La vue 3D sépare les couches par profondeur. Modèle pédagogique à valeurs illustratives déclarées, pas une prédiction.
Commandes
- Actifs par couche
- 18
- Emprise de l'aléa
- 8 % de la superficie
- Actifs qui dépendent d'une autre couche
- 60%
- Capacité de réserve (tolérance)
- 30%
Relevés
- Actifs touchés par l'aléa
- 2%
- Actifs encore en fonctionnement
- 72%
- Amplification des dommages initiaux
- 15.0 times
- Étapes jusqu'au règlement
- 3
Chiffres, méthodes et sources
| Étape | Centres de données en fonctionnement (%) | Réseaux en fonctionnement (%) | Fonctionnement de l'alimentation (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
Méthodes
- Réseaux interdépendants Buldyrev and others (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- Cascades de surcharge Motter and Lai (2002), Physical Review E 66
- Charge d'intermédiarité Brandes (2001), Journal of Mathematical Sociology 25
- Réseaux multicouches Kivela and others (2014), Journal of Complex Networks 2
- Interdépendances des infrastructures Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- Éventail d'incertitude (Monte Carlo sur les paramètres) Spiegelhalter, Pearson et Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilité un facteur à la fois (tornade) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Données
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Routes principales Natural Earth
- Chemins de fer Natural Earth
- Ports maritimes Natural Earth
- Aéroports Natural Earth
- Étendues urbaines Natural Earth
- Lumières nocturnes ce soir, coupures (bande jour/nuit VIIRS) NASA/NOAA VIIRS (Suomi NPP) · registre nasa.gibs.context-live-layers
- Événements naturels (NASA EONET) NASA EONET · registre nasa.eonet.events
Sur les six piliers, sous la conduite de Nexus Consortium
- Expériences Laboratoires
- Intégré Intelligence artificielle et systèmes autonomes dans Foundry
- Testé à Intelligence artificielle et systèmes autonomes dans Universe
- Codifié dans Numérique, cyber et IA dans Standards
- Publié dans Intelligence artificielle et systèmes autonomes dans Reports
- Enseigné dans Faculté de technologie et de systèmes numériques dans Academy
06Validation
Comment les résultats sont vérifiés.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Vérifier | Comment c'est fait |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07Méthodes et preuves
How Cybersecurity for AI systems is modelled, measured and tested.
Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.
Modèle, équations et hypothèses
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Risque de l'élément i
Ri = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire facePerte annuelle attendue
EAL = ∑k pk · Lksur les événements k de probabilité annuelle pkSystèmes couplés
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Hypothèse | Pourquoi il est réalisé | Comment il est testé |
|---|---|---|
| Aléa et exposition sont indépendants au sein d'un événement | Garde l'intégrale des pertes calculable | Comparer avec un ajustement de copule sur des relevés conjoints |
| Les couplages sont linéaires près du point de fonctionnement | Laisse les chocs se propager à travers A | Perturber au-delà de la plage linéaire et comparer |
| Les courbes de vulnérabilité se transposent d'un lieu à l'autre | Les courbes locales sont rarement disponibles | Valider par rapport aux pertes observées lorsqu'elles existent |
- Entrées
- jeux de données versionnés avec provenance
- Productions
- des distributions, jamais des nombres isolés
- Code
- publié avec la fiche de modèle et les tests
- Reproduction
- mêmes données, code, environnement et graine
Principes directeurs FAIR · GO FAIR et FORCE11W3C PROV · World Wide Web ConsortiumOrientations sur le traitement cohérent des incertitudes · GIECCEOS Analysis Ready Data · Comité sur les satellites d'observation de la Terre
08Liens
Thèmes qui s'appuient sur cette méthode.
09Intendance
Qui tient à jour la méthode.
Cybersécurité et résilience numérique stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10Connecté
Où mène cette page à travers le Consortium.
11Questions
Questions et réponses.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
Comment les résultats sont-ils vérifiés ?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
Les valeurs de cette page sont-elles réelles ?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Où d'autre cette méthode est-elle appliquée ?
Le page canonique de la méthode liste toutes les plateformes qui l'appliquent.
RapportsContribuer
Apportez des éléments de preuve depuis cette page.
Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIIntelligence artificielle et systèmes autonomesTechnologies exponentiellesPreuves des Labs
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoDépôt ouvertLe déposer et le soumettre à la communautéPubliez votre propre fiche sur Zenodo avec votre identifiant ORCID, puis soumettez-la à la communauté Reports qui s'y trouve. Des curateurs l'examinent ; le DOI reste le vôtre.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Intelligence artificielle et systèmes autonomes
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Juridique
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.