Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · الذكاء الاصطناعي والنظم المستقلة
الأمن السيبراني لنظم الذكاء الاصطناعي
Cybersecurity and cryptography protect AI النظم and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01سجّل
Cybersecurity for AI systems on the record.
سجل المنهجمنهج STEM
- المنهجالأمن السيبراني والتشفير
- مُطبَّق فياستوديو الذكاء الاصطناعي و النظم
- البيانات3 inputs
- الفحوص3 خطوات تحقق
- الصفحة المرجعيةSTEM Commons
02الطلب
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information النظم and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03الرصد
Security assessment.
الشاشة التي قد يستخدمها فريق لمتابعة هذا المنهج: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · الذكاء الاصطناعي والنظم المستقلة
النتائج
| Weak key rotation | Identity service | مرتفع | PR.AA | مفتوح |
| Unpatched gateway | Edge | مرتفع | PR.PS | Fixing |
| Logging gap | واجهة برمجة المدفوعات | متوسط | DE.CM | مفتوح |
| Stale accounts | الدليل | منخفض | PR.AA | مغلق |
بطاقة المنهج
- المنهج
- الأمن السيبراني والتشفير
- الإطار
- وظائف CSF 2.0
- النطاق
- 54 assets
- الوسم
- مُنمذَج
Control coverage by function
04البيانات
ما يستهلكه المنهج.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in سجل المصادر.
| البيانات | الدور | الوسم |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | مُبلَّغ عنه |
| Vulnerability databases | Known flaws | مُبلَّغ عنه |
| Security test results | Defence performance | مرصود |
05المحاكي
تتابع عبر شبكات مترابطة.
A بصمة الخطر تعطل الأصول المتجاورة في كل طبقة؛ ثم ينشر التفكك والاعتماد بين الطبقات وإجهاد الناجين الإخفاق. ويفصل عرض 3D الطبقات بحسب العمق. نموذج تعليمي بقيم توضيحية معلنة، وليس تنبؤا.
الضوابط
- الأصول حسب الطبقة
- 18
- بصمة الخطر
- 8% من المساحة
- أصول تعتمد على طبقة أخرى
- 60%
- القدرة الاحتياطية (هامش التحمل)
- 30%
القراءات
- الأصول المتأثرة بالخطر
- 2%
- الأصول التي ما زالت تعمل
- 72%
- تضخّم الضرر الأولي
- 15.0 times
- خطوات الاستقرار
- 3
الأرقام والأساليب والمصادر
| خطوة | مراكز البيانات العاملة (%) | الشبكات العاملة (%) | الطاقة العاملة (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
الأساليب
- الشبكات المترابطة Buldyrev وآخرون (2010)، Catastrophic cascade of failures in interdependent networks، Nature 464
- تتالي الأحمال الزائدة Motter and Lai (2002), Physical Review E 66
- حمل البينية Brandes (2001), Journal of Mathematical Sociology 25
- الشبكات متعددة الطبقات Kivela and others (2014), Journal of Complex Networks 2
- الترابطات بين البنى التحتية Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- مروحة عدم اليقين (مونت كارلو للمعاملات) Spiegelhalter, Pearson and Short (2011)، Visualising uncertainty about the future، Science 333
- تحليل الحساسية لعامل واحد في كل مرة (مخطط الإعصار) Saltelli and others (2008)، Global Sensitivity Analysis: The Primer، Wiley
البيانات
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- الطرق الرئيسية Natural Earth
- السكك الحديدية Natural Earth
- الموانئ البحرية Natural Earth
- المطارات Natural Earth
- الامتدادات الحضرية Natural Earth
- أضواء الليل الليلة، الانقطاعات (VIIRS Day/Night Band) NASA/NOAA VIIRS (Suomi NPP) · register nasa.gibs.context-live-layers
- الأحداث الطبيعية (NASA EONET) NASA EONET · register nasa.eonet.events
عبر الركائز الست، بقيادة Nexus Consortium
- التجارب Labs
- مُضمَّن في الذكاء الاصطناعي والنظم المستقلة في Foundry
- جرى الاختبار عند الذكاء الاصطناعي والنظم المستقلة في Universe
- مدوَّن في المجال الرقمي والسيبراني والذكاء الاصطناعي في Standards
- نُشر في الذكاء الاصطناعي والنظم المستقلة في Reports
- يُدرَّس في كلية التقنية والنظم الرقمية في Academy
06التحقق
كيف تُفحص النتائج.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| التحقق | كيف يُنفَّذ |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07الأساليب والأدلة
How Cybersecurity for AI systems is modelled, measured and tested.
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
النموذج والمعادلات والافتراضات
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
مخاطر العنصر i
Ri = f(Hi, Ei, Vi, Ci)الخطر والتعرّض وقابلية التأثر والقدرة على المواجهةالخسارة السنوية المتوقعة
EAL = ∑k pk · Lkعلى الأحداث k ذات الاحتمال السنوي pkالنظم المقترنة
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| افتراض | لماذا أُعدّ | كيف يُختبر |
|---|---|---|
| الخطر والتعرّض مستقلان داخل الحدث الواحد | يُبقي تكامل الخسارة قابلًا للحساب | قارن بمطابقة دالة ربط (copula) على السجلات المشتركة |
| تكون الروابط خطية قرب نقطة التشغيل | يسمح بانتشار الصدمات عبر A | ادفع خارج النطاق الخطي وقارن |
| منحنيات الهشاشة قابلة للنقل بين الأماكن | نادرًا ما تتوافر المنحنيات المحلية | التحقق مقابل الخسائر المرصودة حيثما وُجدت |
- المدخلات
- مجموعات بيانات ذات إصدارات ومزودة ببيان المصدر
- المخرجات
- توزيعات، لا أرقام منفردة أبدا
- الرمز
- يُصدر مع بطاقة النموذج والاختبارات
- إعادة الإنتاج
- البيانات نفسها والشيفرة نفسها والبيئة نفسها والبذرة نفسها
مبادئ FAIR التوجيهية · GO FAIR وFORCE11W3C PROV · اتحاد الشبكة العالميةإرشادات بشأن المعالجة المتسقة لأوجه عدم اليقين · الهيئة الحكومية الدولية المعنية بتغير المناخبيانات CEOS الجاهزة للتحليل · لجنة سواتل رصد الأرض
08الروابط
الموضوعات التي تعتمد على هذا المنهج.
09الرعاية
من يحتفظ بالمنهج.
الأمن السيبراني والصمود الرقمي stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10متصل
إلى أين تقود هذه الصفحة على نطاق الاتحاد.
11أسئلة
أسئلة وأجوبة.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
كيف تُفحص النتائج؟
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
هل القيم المعروضة في هذه الصفحة حقيقية؟
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
أين يُطبَّق هذا المنهج أيضًا؟
تجمع صفحة المنهج المرجعية كل منصة تطبّقه.
التقاريرساهم
ساهم بأدلة من هذه الصفحة.
التقارير is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIالذكاء الاصطناعي والنظم المستقلةالتقنيات الأسيةأدلة Labs
- البريد الإلكترونيالبوابة GW-GCRIأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- التقاريرGCRIاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
الذكاء الاصطناعي والنظم المستقلة
قدّم منهجية أو مجموعة بيانات أو سؤالا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الشؤون القانونية
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.