Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · زیرەکی دەستکرد و سیستەمە خۆسەرەکان
Cybersecurity and cryptography protect AI سیستەمە and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
Cybersecurity and cryptography protect information سیستەمە and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons.
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
The screen a team would use to follow this method: its measures, states and decisions. Names are examples and values are illustrative.
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
| Weak key rotation | Identity service | بەرز | PR.AA | کراوە |
| Unpatched gateway | Edge | بەرز | PR.PS | Fixing |
| Logging gap | API ی پارەدان | ناوەند | DE.CM | کراوە |
| Stale accounts | ڕێبەر | کەم | PR.AA | Closed |
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| داتا | ڕۆڵ | ناونیشان |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | REPORTED |
| Vulnerability databases | Known flaws | REPORTED |
| Security test results | Defence performance | چاودێریکراو |
A شوێنپێی مەترسیدەر موڵکی هاوشوێن لە هەموو چینەکاندا لەناو دەبات؛ پاشان پارچەپارچەبوون، پشتبەستنی نێوان چینەکان و بارزۆری ڕزگاربووان شکستەکە بڵاو دەکەنەوە. بینینی 3D چینەکان بە قووڵایی جیا دەکاتەوە. مۆدێلی فێرکاری بە بەهای نموونەیی ڕاگەیەندراو، نەک پێشبینی.
کۆنترۆڵەکان
خوێندنەوەکان
| هەنگاو | ناوەندی داتای کارکەر (%) | تۆڕی کارکەر (%) | هێزی کارکەر (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
لە ناو شەش کۆڵەکەکەدا، بە سەرپەرشتیی Nexus Consortium
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| بپشکنە | How it is done |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
مۆدێلەکە، گریمانەکانی، داتاکانی و نادڵنیاییەکەی، بەو شێوەیەی زانا یان ئەندازیارێک دەیپشکنێت. پێکهاتەکان ڕێگا بڵاوکراوەکان دەگرنەبەر. بەهاکانی کێشراو نموونەییە، نەک دۆزینەوە.
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)مەترسیدەر، ڕووبەڕووبوون، لاوازی و توانای مامەڵەکردنEAL = ∑k pk · Lkبەسەر ڕووداوەکانی k بە ئەگەری ساڵانەی pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| گریمانە | بۆچی دروست دەکرێت | چۆن تاقی دەکرێتەوە |
|---|---|---|
| مەترسیدەر و ڕووبەڕووبوون لە ناو پێشهاتێکدا سەربەخۆن | ئینتێگراڵی زیان بە ئاسانی دەهێڵێتەوە | بەراورد بکە لەگەڵ گونجاندنی کۆپیولا لەسەر تۆمارە هاوبەشەکان |
| هاوبەستییەکان لە نزیک خاڵی کارکردن هێڵین | ڕێگە دەدات شۆکەکان بڵاو ببنەوە لە A | لە دەرەوەی مەودای هێڵیی شڵەژێنە و بەراورد بکە |
| چەمکەکانی لاوازی لە شوێنێکەوە بۆ شوێنێکی تر دەگوازرێنەوە | چەمکی ناوخۆیی بە دەگمەن بەردەستە | لەگەڵ زیانە چاودێریکراوەکان پشتڕاستی بکەرەوە کە هەن |
ئاسایشی سایبەری و خۆڕاگریی دیجیتاڵ stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
هەرگیز داتای کەسی، وردەکاریی هەستیاری ژێرخان یان هیچ شتێک مەنێرە کە مافی بڵاوکردنەوەت نییە. بەشدارییەک پێش بەکارهێنان پێداچوونەوەی بۆ دەکرێت؛ ناردنی ماف نابەخشێت بە نووسەرایەتی یان بەڕێوەبردنی ڕاگەیاندن، و پاڵپشتی دارایی هەرگیز دۆزینەوەیەک ناکڕێت.
زانیاری و پرسیار ئەمڕۆ کراوەن. پرسیارێک ژمارەی ئاماژەی پێدەدرێت و هەنگاوی دواتر دیاری دەکات؛ داواکاری، پارەدان، تەرخانکردنی کۆمپیوتەر و تۆمارکردن تەنیا کاتێک دەکرێنەوە کە تیم، مەرج و توانای پێداچوونەوەیان هەبێت.
نەخشە، داتا و وێنەکانی ئەم ماڵپەڕە بۆ ناوەڕۆک و زانیاریی گشتی پیشان دراون. ئامۆژگاری، پێشبینی یان ئاگادارکردنەوە نین؛ سنوورەکانی زانیارییەکە لە ڕەتکردنەوەی بەرپرسیارێتی و ئاگاداریی داتادا دەستنیشان کراون.
This site uses only strictly necessary cookies to work and to remember your privacy choices. Nothing loads from other companies, and we never sell or share your personal information.
This site uses only strictly necessary cookies to work and to remember your privacy choices. Nothing loads from other companies, and we never sell or share your personal information. We run no advertising. You can review your choices at any time through Privacy choices at the foot of every page.