Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Künstliche Intelligenz und autonome Systeme
Cybersicherheit für KI-Systeme
Cybersecurity and cryptography protect AI Systeme and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01Registrieren
Cybersecurity for AI systems on the record.
MethodennachweisMINT-Methode
- MethodeCybersicherheit und Kryptografie
- SachwalterCybersicherheit und digitale Resilienz
- Angewandt inStudio Künstliche Intelligenz und autonome System
- Daten3 inputs
- Prüfungen3 Validierungsschritte
- Kanonische SeiteMINT-Commons
02Antrag
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information Systeme and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on die STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03Monitoring
Security assessment.
Die Ansicht, die ein Team nutzen würde, um diese Methode zu verfolgen: ihre Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · Künstliche Intelligenz und autonome Systeme
Befunde
| Weak key rotation | Identity service | Hoch | PR.AA | Offen |
| Unpatched gateway | Edge | Hoch | PR.PS | Fixing |
| Logging gap | Zahlungs-API | Mittel | DE.CM | Offen |
| Stale accounts | Verzeichnis | Niedrig | PR.AA | Geschlossen |
Methodenkarte
- Methode
- Cybersicherheit und Kryptografie
- Rahmenwerk
- CSF-2.0-Funktionen
- Geltungsbereich
- 54 assets
- Kennzeichnung
- MODELLIERT
Control coverage by function
04Daten
Was die Methode verwendet.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in dem Quellenregister.
| Daten | Rolle | Kennzeichnung |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | BERICHTET |
| Vulnerability databases | Known flaws | BERICHTET |
| Security test results | Defence performance | BEOBACHTET |
05Simulator
Eine Kaskade durch voneinander abhängige Netze.
A Gefahren-Fußabdruck erfasst die gemeinsam gelegenen Anlagen in jeder Ebene; Fragmentierung, Abhängigkeit zwischen Ebenen und Überlastung der Überlebenden breiten den Ausfall dann aus. Die 3D-Ansicht trennt die Ebenen nach Tiefe. Lehrmodell mit angegebenen illustrativen Werten, keine Vorhersage.
Steuerung
- Anlagen je Ebene
- 18
- Gefahrenausdehnung
- 8 % der Fläche
- Vermögenswerte, die von einer anderen Ebene abhängen
- 60%
- Reservekapazität (Toleranz)
- 30%
Messwerte
- Von der Gefahr getroffene Anlagen
- 2%
- Noch funktionierende Anlagen
- 72%
- Verstärkung des Anfangsschadens
- 15.0 times
- Schritte bis zur Abwicklung
- 3
Zahlen, Methoden und Quellen
| Schritt | Funktionierende Rechenzentren (%) | Funktionierende Netze (%) | Stromversorgung in Betrieb (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
Methoden
- Voneinander abhängige Netze Buldyrev and others (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- Überlastkaskaden Motter and Lai (2002), Physical Review E 66
- Zwischenzentralitätslast Brandes (2001), Journal of Mathematical Sociology 25
- Mehrschichtige Netzwerke Kivela and others (2014), Journal of Complex Networks 2
- Infrastrukturabhängigkeiten Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- Unsicherheitsfächer (Parameter-Monte-Carlo) Spiegelhalter, Pearson und Short (2011), Visualising uncertainty about the future, Science 333
- Sensitivität mit jeweils einem Faktor (Tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Daten
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Hauptstraßen Natural Earth
- Eisenbahnen Natural Earth
- Seehäfen Natural Earth
- Flughäfen Natural Earth
- Siedlungsflächen Natural Earth
- Nachtlichter heute Nacht, Ausfälle (VIIRS-Tag/Nacht-Band) NASA/NOAA VIIRS (Suomi NPP) · Register nasa.gibs.context-live-layers
- Naturereignisse (NASA EONET) NASA EONET · Register nasa.eonet.events
Über die sechs Säulen, unter Leitung von Nexus Consortium
- Experimente Labore
- Erstellt in Künstliche Intelligenz und autonome Systeme in Foundry
- Getestet am Künstliche Intelligenz und autonome Systeme in Universe
- Kodifiziert in Digitales, Cyber und KI in Standards
- Veröffentlicht in Künstliche Intelligenz und autonome Systeme in Reports
- Gelehrt in Fakultät für Technologie und digitale Systeme in der Akademie
06Validierung
Wie Ergebnisse geprüft werden.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Prüfen | Wie es gemacht wird |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07Methoden und Evidenz
How Cybersecurity for AI systems is modelled, measured and tested.
Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.
Modell, Gleichungen und Annahmen
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Risiko des Elements i
Ri = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und BewältigungskapazitätErwarteter jährlicher Schaden
EAL = ∑k pk · Lküber Ereignisse k mit jährlicher Wahrscheinlichkeit pkGekoppelte Systeme
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Annahme | Warum es entsteht | Wie es geprüft wird |
|---|---|---|
| Gefahr und Exposition sind innerhalb eines Ereignisses unabhängig | Hält das Schadensintegral berechenbar | Mit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen |
| Kopplungen sind nahe dem Arbeitspunkt linear | Lässt Schocks sich über A ausbreiten | Über den linearen Bereich hinaus stören und vergleichen |
| Vulnerabilitätskurven lassen sich zwischen Orten übertragen | Lokale Kurven sind selten verfügbar | Anhand beobachteter Schäden validieren, wo es sie gibt |
- Eingaben
- versionierte Datensätze mit Herkunftsnachweis
- Ergebnisse
- Verteilungen, nie einzelne Zahlen
- Code
- mit Modellkarte und Tests veröffentlicht
- Reproduktion
- gleiche Daten, Code, Umgebung und Seed
FAIR-Leitprinzipien · GO FAIR und FORCE11W3C PROV · World Wide Web ConsortiumHinweise zur einheitlichen Behandlung von Unsicherheiten · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
08Verbindungen
Themen, die sich auf diese Methode stützen.
09Treuhänderschaft
Wer die Methode pflegt.
Cybersicherheit und digitale Resilienz stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10Verbunden
Wohin diese Seite im Konsortium führt.
11Fragen
Fragen und Antworten.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
Wie werden Ergebnisse geprüft?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
Sind die Werte auf dieser Seite echt?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Wo wird diese Methode sonst angewandt?
Das kanonische Methodenseite listet jede Plattform auf, die sie anwendet.
BerichteBeitragen
Evidenz von dieser Seite aus beitragen.
Berichte is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIKünstliche Intelligenz und autonome SystemeExponentielle TechnologieLabs-Evidenz
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOffene HinterlegungHinterlegen und bei der Community einreichenVeröffentlichen Sie Ihren eigenen Eintrag auf Zenodo mit Ihrer ORCID iD und reichen Sie ihn dort bei der Reports-Community ein. Kuratorinnen und Kuratoren prüfen ihn; der DOI bleibt bei Ihnen.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Künstliche Intelligenz und autonome Systeme
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliches
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.