Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Zîrekiya çêkirî û pergalên xweser
Cybersecurity for AI systems
Cybersecurity and cryptography protect AI pergalan and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01Qeyd
Cybersecurity for AI systems on the record.
Method recordSTEM method
- RêbazEwlehiya sîber û kriptografî
- Applied inZîrekiya çêkirî û Pergal
- Dane3 inputs
- Checks3 validation steps
- Canonical pageSTEM Commons
02Application
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information pergalan and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03Çavdêrî bike
Security assessment.
The screen a team would use to follow this method: its measures, states and decisions. Names are examples and values are illustrative.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · Zîrekiya çêkirî û pergalên xweser
Encam
| Weak key rotation | Identity service | Bilind | PR.AA | Vekirî |
| Unpatched gateway | Edge | Bilind | PR.PS | Fixing |
| Logging gap | API ya dayînê | Navîn | DE.CM | Vekirî |
| Stale accounts | Rêber | Kêm | PR.AA | Closed |
Method card
- Rêbaz
- Ewlehiya sîber û kriptografî
- Framework
- Fonksiyonên CSF 2.0
- Çarçove
- 54 assets
- Nîşan
- MODELKIRÎ
Control coverage by function
04Dane
What the method consumes.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| Dane | Rol | Nîşan |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | REPORTED |
| Vulnerability databases | Known flaws | REPORTED |
| Security test results | Defence performance | ÇAVDÊRÎKIRÎ |
05Simulator
Kaskadeyek di tevahiya torên girêdayî de.
A Şopa metirsîyê hebûnên li heman cihî di her qatê de ji holê radike; perçebûn, girêdayîbûna di navbera qatan de û barkirina zêde ya yên mayî paşê têkçûnê belav dikin. Dîmena 3D qatan bi kûrahiyê ji hev vediqetîne. Modela hînkirinê bi nirxên ronîker ên diyarkirî, ne pêşbînî.
Kontrol
- Mal û milk her qat
- 18
- Metirsî: şop
- 8% ya qadê
- Mal û milkên ku bi qateke din ve girêdayî ne
- 60%
- Kapasîteya zêde (tolerans)
- 30%
Xwendin
- Mal û milkên ku metirsî bandor li wan kiriye
- 2%
- Mal û milkên ku hê dixebitin
- 72%
- Mezinbûna zerara destpêkê
- 15.0 times
- Gavên çareserkirinê
- 3
Jimar, rêbaz û çavkanî
| Gav | Navendên daneyê yên ku dixebitin (%) | Tor yên ku dixebitin (%) | Hêz dixebite (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
Rêbaz
- Torên girêdayî Buldyrev û yên din (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- Zincîra barkêşiya zêde Motter and Lai (2002), Physical Review E 66
- Barê navbeynkariyê Brandes (2001), Journal of Mathematical Sociology 25
- Torên pirqat Kivela and others (2014), Journal of Complex Networks 2
- Girêdayîbûnên binesazê Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- Pankeya nediyarîyê (Monte Carlo ya parametreyan) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- Hesasiyeta yek-yek (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dane
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Rêyên sereke Natural Earth
- Rêhesin Natural Earth
- Benderên behrê Natural Earth
- Balafirgeh Natural Earth
- Dirêjahiyên bajarî Natural Earth
- Ronahiya şevê îşev, qutbûn (VIIRS Day/Night Band) NASA/NOAA VIIRS (Suomi NPP) · register nasa.gibs.context-live-layers
- Bûyerên xwezayî (NASA EONET) NASA EONET · tomar nasa.eonet.events
Li seranserê şeş stûnan, bi pêşengiya Nexus Consortium
- Ceribandin Labs
- Hatiye avakirin di Zîrekiya çêkirî û pergalên xweser li Foundry
- Tê ceribandin li Zîrekiya çêkirî û pergalên xweser li Universe
- Hatiye kodkirin di Dîjîtal, Sîber û AI di Standards de
- Hatiye weşandin di Zîrekiya çêkirî û pergalên xweser li Reports
- Tê de tê dayîn Fakulteya Teknolojî û pergalên dîjîtal di Academy de
06Erêkirin
How results are checked.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Kontrol bikin | How it is done |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07Rêbaz û delîl
How Cybersecurity for AI systems is modelled, measured and tested.
Model, texmînên wî, daneyên wî û nediyariya wî, bi şeweyê ku zanyar an endezyar kontrol bike. Avahî rêbazên weşandî dişopînin. Nirxên hatine xêzkirin nimûneyî ne, ne encam in.
Model, hevkêşe û texmîn
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Xetera hêmana i
Ri = f(Hi, Ei, Vi, Ci)metirsî, rûbirûbûn, lawazî û kapasîteya serederiyêWindahiya salane ya hêvîkirî
EAL = ∑k pk · Lkli ser bûyerên k bi îhtîmala salane pkPergalên girêdayî
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Texmîn | Çima tê çêkirin | Çawa tê ceribandin |
|---|---|---|
| Metirsî û rûbirûbûn di nav bûyerekê de serbixwe ne | Entegrala windahiyê ji hesabkirinê re maqûl dihêle | Bi lihevhatineke copula li ser tomarên hevbeş re bidin ber hev |
| Girêdan li nêzî xala xebatê xêzik in | Dihêle şok di A de belav bibin | Ji derveyî rêza xêzik tevlihev bike û bide ber hev |
| Xêzên lawaziyê di navbera cihan de têne veguhastin | Xêzikên herêmî kêm tên dîtin | Li hember windahiyên çavdêrîkirî erê bike li cihê ku hene |
- Têketin
- danehevên bi guhertoyan û çavkaniyê
- Derketin
- belavkirin, tu carî jimarên tenê
- Kod
- bi qerta modelê û ceribandinan re hat weşandin
- Zêdebûn
- heman dane, kod, jîngeh û tov
Prensîbên rêber ên FAIR · GO FAIR û FORCE11W3C PROV · World Wide Web ConsortiumRêwerzên ji bo birêvebirina hevgirtî ya nediyarîyan · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
08Connections
Topics that rely on this method.
09Stewardship
Who maintains the method.
Ewlehiya sîber û berxwedana dîjîtal stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10Girêdayî
Ev rûpel li ser Konsorsiyûmê te ber bi kû ve dibe.
11Pirs
Pirs û bersiv.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
How are results checked?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
Are the values on this page real?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Where else is this method applied?
Çavdêrxaneya canonical method page lists every platform that applies it.
rêzeya Pergalên StratejîkTevkarî bike
Ji vê rûpelê delîl bidin.
rêzeya Pergalên Stratejîk is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIZîrekiya çêkirî û pergalên xweserTeknolojiya eksponensiyelDelîlên Labs
- E-nameDergeh GW-GCRIJi vê rûpelê bişîninDelîl, rastkirin, doz, rêbaz, nirxandin, wergerandin an têketina profîlê. Bi nîşana vê rûpelê digihîje, ji ber vê yekê edîtorê xwediyê wê wê bistîne.
- ZenodoDepoya vekirîWê razînin û ji civakê re bişîninTomara xwe li Zenodo bi ORCID iD ya xwe biweşînin, paşê wê li wir ji civaka Reports re bişînin. Kurator wê vedikolin; DOI ya we dimîne.
- rêzeya Pergalên StratejîkGCRIHemû rêyên beşdariyê bibîneCureyên beşdariyê, her yek çawa tê nirxandin, tu çi navlêkirinê distînî, lîsans û tiştê ku qet nayê qebûlkirin.
Tu carî daneyên şexsî, hûrgiliyên binesaza hesas an tiştekî ku mafê we yê parvekirinê tune ne neşînin. Beşdarî berî bikaranînê tê nirxandin; şandina wê nivîskarî an mafên edîtorî nade û sponsorî tu carî encamekê nakire.
Zîrekiya çêkirî û pergalên xweser
Rêbazek, danehevek an pirsek bîne.
Agahî û pirs îro vekirî ne. Pirsek referansekê distîne û gava piştî wê dide nasîn; serlêdan, drav, veqetandina hesabkirinê û tomarkirin tenê dema ku tîm, mercên wê û kapasîteya vekolînê hebin vedibin.
Hiqûqî
Belgeyên hiqûqî.
Nexşe, dane û jimarên vê malperê ji bo çarçoveyê û agahiyên giştî têne nîşandan. Ew ne şîret, ne pêşbînî û ne hişyarî ne; sînorên agahiyê di Daxuyaniyên Berpirsiyariyê û Daxuyaniyên Daneyê de hatine diyarkirin.