Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Intelligenza artificiale e sistemi autonomi
Cibersicurezza per i sistemi di IA
Cybersecurity and cryptography protect AI sistemi and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01Registrare
Cybersecurity for AI systems on the record.
Registro del metodoMetodo STEM
- MetodoCybersicurezza e crittografia
- Applicato inStudio Intelligenza artificiale e sistemi
- Dati3 inputs
- Verifiche3 fasi di validazione
- Pagina canonicaBeni comuni STEM
02Domanda di adesione
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information sistemi and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on gli STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03Monitoraggio
Security assessment.
La schermata che un gruppo utilizzerebbe per seguire questo metodo: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · Intelligenza artificiale e sistemi autonomi
Risultanze
| Weak key rotation | Identity service | Alto | PR.AA | Apri |
| Unpatched gateway | Edge | Alto | PR.PS | Fixing |
| Logging gap | API dei pagamenti | Medio | DE.CM | Apri |
| Stale accounts | Elenco | Basso | PR.AA | Chiuso |
Scheda del metodo
- Metodo
- Cybersicurezza e crittografia
- Quadro
- Funzioni del CSF 2.0
- Ambito
- 54 assets
- Etichetta
- MODELLATO
Control coverage by function
04Dati
Cosa utilizza il metodo.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in registro delle fonti.
| Dati | Ruolo | Etichetta |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | RIPORTATO |
| Vulnerability databases | Known flaws | RIPORTATO |
| Security test results | Defence performance | OSSERVATO |
05Simulatore
Una cascata attraverso reti interdipendenti.
A impronta di pericolo elimina gli asset colocalizzati in ogni livello; frammentazione, dipendenza tra livelli e sovraccarico dei sopravvissuti propagano poi il guasto. La vista 3D separa i livelli per profondità. Modello didattico con valori illustrativi dichiarati, non una previsione.
Comandi
- Beni per livello
- 18
- Impronta del pericolo
- 8% della superficie
- Beni che dipendono da un altro livello
- 60%
- Capacità di riserva (tolleranza)
- 30%
Letture
- Beni colpiti dal pericolo
- 2%
- Beni ancora funzionanti
- 72%
- Amplificazione del danno iniziale
- 15.0 times
- Passaggi fino al regolamento
- 3
Numeri, metodi e fonti
| Passaggio | Data center in funzione (%) | Reti funzionanti (%) | Funzionamento dell'alimentazione (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
Metodi
- Reti interdipendenti Buldyrev and others (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- Cascate di sovraccarico Motter and Lai (2002), Physical Review E 66
- Carico di intermediazione Brandes (2001), Journal of Mathematical Sociology 25
- Reti multistrato Kivela and others (2014), Journal of Complex Networks 2
- Interdipendenze delle infrastrutture Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- Ventaglio di incertezza (Monte Carlo sui parametri) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilità un fattore alla volta (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dati
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Strade principali Natural Earth
- Ferrovie Natural Earth
- Porti marittimi Natural Earth
- Aeroporti Natural Earth
- Estensioni urbane Natural Earth
- Luci notturne stanotte, interruzioni (banda giorno/notte VIIRS) NASA/NOAA VIIRS (Suomi NPP) · registro nasa.gibs.context-live-layers
- Eventi naturali (NASA EONET) NASA EONET · registro nasa.eonet.events
Nei sei pilastri, sotto la guida di Nexus Consortium
- Esperimenti Laboratori
- Costruito in Intelligenza artificiale e sistemi autonomi in Foundry
- Testato a Intelligenza artificiale e sistemi autonomi in Universe
- Codificato in Digitale, cibernetico e IA in Standards
- Pubblicato in Intelligenza artificiale e sistemi autonomi in Reports
- Insegnato in Facoltà di Tecnologia e sistemi digitali in Academy
06Validazione
Come vengono verificati i risultati.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Verifica | Come si fa |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07Metodi ed evidenze
How Cybersecurity for AI systems is modelled, measured and tested.
Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.
Modello, equazioni e ipotesi
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Rischio dell'elemento i
Ri = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di rispostaPerdita annua attesa
EAL = ∑k pk · Lksu eventi k con probabilità annua pkSistemi accoppiati
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Ipotesi | Perché è realizzato | Come viene testato |
|---|---|---|
| Pericolo ed esposizione sono indipendenti all'interno di un evento | Mantiene trattabile l'integrale delle perdite | Confrontare con un adattamento di copula su registrazioni congiunte |
| Gli accoppiamenti sono lineari vicino al punto di funzionamento | Consente agli shock di propagarsi attraverso A | Perturbare oltre l'intervallo lineare e confrontare |
| Le curve di vulnerabilità si trasferiscono da un luogo all'altro | Le curve locali sono raramente disponibili | Validare rispetto alle perdite osservate, dove esistono |
- Input
- set di dati versionati con provenienza
- Risultati
- distribuzioni, mai valori singoli
- Codice
- pubblicato con la scheda del modello e i test
- Riproduzione
- stessi dati, codice, ambiente e seed
Principi guida FAIR · GO FAIR e FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Comitato sui satelliti per l'osservazione della Terra
08Collegamenti
Argomenti che si basano su questo metodo.
09Custodia
Chi mantiene il metodo.
Cybersicurezza e resilienza digitale stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10Connesso
Dove porta questa pagina nel Consorzio.
11Domande
Domande e risposte.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
Come vengono verificati i risultati?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
I valori di questa pagina sono reali?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Dove altro viene applicato questo metodo?
Il pagina canonica del metodo elenca ogni piattaforma che lo applica.
RapportiContribuisci
Contribuisci con evidenze da questa pagina.
Rapporti is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIIntelligenza artificiale e sistemi autonomiTecnologia esponenzialeEvidenze di Labs
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoDeposito apertoDepositalo e invialo alla comunitàPubblica il tuo registro su Zenodo con il tuo ORCID iD, poi invialo alla comunità Reports. I curatori lo esaminano; il DOI resta tuo.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Intelligenza artificiale e sistemi autonomi
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Note legali
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.