Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Artificial Intelligence and Autonomous Systems
Cybersecurity and cryptography protect AI systems and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
Cybersecurity and cryptography protect information systems and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on the STEM Commons.
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
The screen a team would use to follow this method: its measures, states and decisions. Names are examples and values are illustrative.
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
| Weak key rotation | Identity service | زیادہ | PR.AA | کھلا |
| Unpatched gateway | Edge | زیادہ | PR.PS | Fixing |
| Logging gap | Payments API | درمیانہ | DE.CM | کھلا |
| Stale accounts | ڈائرکٹری | کم | PR.AA | بند |
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| ڈیٹا | کردار | لیبل |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | رپورٹ شدہ |
| Vulnerability databases | Known flaws | رپورٹ شدہ |
| Security test results | Defence performance | مشاہدہ شدہ |
A hazard footprint takes out co-located assets in every layer; fragmentation, dependency between layers and overload of the survivors then spread the failure. The 3D view separates the layers by depth. Teaching model with stated illustrative values, not a prediction.
کنٹرولز
ریڈنگز
| مرحلہ | Data centres working (%) | Networks working (%) | Power working (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
چھ ستونوں میں، Nexus Consortium کی قیادت میں
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Check | How it is done |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
The model, its assumptions, its data and its uncertainty, in the form a scientist or engineer would check. Structures follow published methods. The values drawn are illustrative, not findings.
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)hazard, exposure, vulnerability and coping capacityEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Assumption | Why it is made | How it is tested |
|---|---|---|
| Hazard and exposure are independent within an event | Keeps the loss integral tractable | Compare with a copula fit on joint records |
| Couplings are linear near the operating point | Lets shocks propagate through A | Perturb beyond the linear range and compare |
| Vulnerability curves transfer between places | Local curves are rarely available | Validate against observed losses where they exist |
Cybersecurity and Digital Resilience stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
Reports کنسورشیم کی سہ ماہی اشاعت ہے۔ اس موضوع کے بارے میں آپ کا علم اگلے شمارے میں شواہد، کیس یا تصحیح بن سکتا ہے، جو آپ کے نام سے منسوب ہوگا اور اگر یہ آپ کا اپنا کام ہو تو CC BY 4.0 کے تحت شائع ہوگا۔
کبھی بھی ذاتی ڈیٹا، حساس بنیادی ڈھانچے کی تفصیل یا کوئی ایسی چیز نہ بھیجیں جسے شیئر کرنے کا آپ کو حق نہ ہو۔ ہر شراکت استعمال سے پہلے جانچی جاتی ہے؛ اسے بھیجنے سے کوئی تصنیفی یا ادارتی حق حاصل نہیں ہوتا، اور سرپرستی کبھی کوئی نتیجہ نہیں خریدتی۔
معلومات اور استفسارات آج کھلے ہیں۔ استفسار کو ایک حوالہ نمبر ملتا ہے اور اگلے مرحلے کی نشاندہی ہوتی ہے؛ درخواستیں، ادائیگیاں، کمپیوٹنگ کی تخصیص اور رجسٹریشن صرف اس وقت کھلتی ہیں جب ان کی ٹیم، شرائط اور جائزے کی استعداد موجود ہو۔
اس سائٹ کے نقشے، ڈیٹا اور اشکال سیاق اور عمومی معلومات کے لیے دکھائے جاتے ہیں۔ یہ مشورہ، پیش گوئیاں یا انتباہات نہیں؛ معلومات کی حدود دستبرداریوں اور ڈیٹا سے متعلق اطلاعات میں بیان کی گئی ہیں۔
یہ سائٹ صرف لازمی طور پر ضروری کوکیز استعمال کرتی ہے تاکہ کام کر سکے اور آپ کے رازداری کے انتخاب یاد رکھ سکے۔ دوسری کمپنیوں سے کچھ بھی لوڈ نہیں ہوتا، اور ہم آپ کی ذاتی معلومات کبھی فروخت یا شیئر نہیں کرتے۔
یہ سائٹ صرف لازمی طور پر ضروری کوکیز استعمال کرتی ہے تاکہ کام کر سکے اور آپ کے رازداری کے انتخاب یاد رکھ سکے۔ دوسری کمپنیوں سے کچھ بھی لوڈ نہیں ہوتا، اور ہم آپ کی ذاتی معلومات کبھی فروخت یا شیئر نہیں کرتے۔ ہم کوئی اشتہار نہیں چلاتے۔ آپ ہر صفحے کے آخر میں "رازداری کے انتخاب" کے ذریعے کسی بھی وقت اپنے انتخاب کا جائزہ لے سکتے ہیں۔