Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · هوش مصنوعی و سامانه‌های خودمختار
امنیت سایبری برای سامانه‌های هوش مصنوعی
Cybersecurity and cryptography protect AI سامانه‌ها and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01ثبت‌خانه
Cybersecurity for AI systems on the record.
Method recordSTEM method
- روشامنیت سایبری و رمزنگاری
- Applied inهوش مصنوعی و سامانه‌ها
- داده3 inputs
- Checks3 validation steps
- Canonical pageSTEM Commons
02Application
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information سامانه‌ها and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03پایش
Security assessment.
The screen a team would use to follow this method: its measures, states and decisions. Names are examples and values are illustrative.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · هوش مصنوعی و سامانه‌های خودمختار
یافته‌ها
| Weak key rotation | Identity service | بالا | PR.AA | باز |
| Unpatched gateway | Edge | بالا | PR.PS | Fixing |
| Logging gap | API پرداخت‌ها | متوسط | DE.CM | باز |
| Stale accounts | فهرست راهنما | پایین | PR.AA | Closed |
Method card
- روش
- امنیت سایبری و رمزنگاری
- Framework
- کارکردهای CSF 2.0
- دامنه
- 54 assets
- برچسب
- مدل‌سازی‌شده
Control coverage by function
04داده
What the method consumes.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| داده | نقش | برچسب |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | گزارش‌شده |
| Vulnerability databases | Known flaws | گزارش‌شده |
| Security test results | Defence performance | مشاهده‌شده |
05شبیه‌ساز
آبشاری در شبکه‌های وابستهٔ متقابل.
A ردپای مخاطره دارایی‌های هم‌مکان را در هر لایه از کار می‌اندازد؛ سپس تکه‌تکه‌شدگی، وابستگی میان لایه‌ها و بار اضافی بر بازماندگان شکست را گسترش می‌دهد. نمای 3D لایه‌ها را بر پایهٔ عمق از هم جدا می‌کند. مدل آموزشی با مقادیر تصویری اعلام‌شده، نه پیش‌بینی.
کنترل‌ها
- دارایی‌ها به‌ازای هر لایه
- 18
- ردپای مخاطره
- 8٪ از مساحت
- دارایی‌های وابسته به لایهٔ دیگر
- 60%
- ظرفیت مازاد (تحمل)
- 30%
خوانش‌ها
- دارایی‌های آسیب‌دیده از مخاطره
- 2%
- دارایی‌های همچنان فعال
- 72%
- تقویت آسیب نخستین
- 15.0 times
- گام‌های تسویه
- 3
رقم‌ها، روش‌ها و منابع
| گام | مراکز داده فعال (٪) | شبکه‌های فعال (٪) | برق در حال کار (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
روش‌ها
- شبکه‌های وابستهٔ متقابل Buldyrev and others (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- آبشارهای بار اضافی Motter and Lai (2002), Physical Review E 66
- بار میانی‌بودگی Brandes (2001), Journal of Mathematical Sociology 25
- شبکه‌های چندلایه Kivela and others (2014), Journal of Complex Networks 2
- وابستگی‌های متقابل زیرساخت‌ها Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- بادبزن عدم قطعیت (مونت‌کارلوی پارامتری) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- حساسیت‌سنجی تک‌متغیره (تورنادو) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
داده
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- جاده‌های اصلی Natural Earth
- راه‌آهن Natural Earth
- بنادر دریایی Natural Earth
- فرودگاه‌ها Natural Earth
- گسترهٔ شهری Natural Earth
- روشنایی شب امشب، قطعی‌ها (VIIRS Day/Night Band) NASA/NOAA VIIRS (Suomi NPP) · register nasa.gibs.context-live-layers
- رویدادهای طبیعی (NASA EONET) NASA EONET · register nasa.eonet.events
در شش رکن، به رهبری Nexus Consortium
- آزمایش‌ها آزمایشگاه‌ها
- ساخته‌شده در هوش مصنوعی و سامانه‌های خودمختار در Foundry
- آزموده‌شده در هوش مصنوعی و سامانه‌های خودمختار در Universe
- مدون‌شده در دیجیتال، سایبری و هوش مصنوعی در Standards
- منتشرشده در هوش مصنوعی و سامانه‌های خودمختار در Reports
- تدریس‌شده در دانشکدهٔ فناوری و سامانه‌های دیجیتال در Academy
06اعتبارسنجی
How results are checked.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| بررسی | How it is done |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07روش‌ها و شواهد
How Cybersecurity for AI systems is modelled, measured and tested.
مدل، مفروضات، داده‌ها و عدم قطعیت آن، به شکلی که دانشمند یا مهندس بررسی می‌کند. ساختارها از روش‌های منتشرشده پیروی می‌کنند. مقادیر ترسیم‌شده تبیینی‌اند، نه یافته.
مدل، معادلات و مفروضات
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
ریسک عنصر i
Ri = f(Hi, Ei, Vi, Ci)مخاطره، مواجهه، آسیب‌پذیری و ظرفیت مقابلهزیان سالانهٔ مورد انتظار
EAL = ∑k pk · Lkبر رویدادهای k با احتمال سالانهٔ pkسامانه‌های جفت‌شده
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| فرض | چرا ساخته می‌شود | چگونه آزموده می‌شود |
|---|---|---|
| مخاطره و مواجهه در یک رویداد مستقل‌اند | انتگرال زیان را تحت‌کنترل نگه می‌دارد | مقایسه با برازش مفصل بر سوابق مشترک |
| جفت‌شدگی‌ها نزدیک نقطهٔ کار خطی‌اند | اجازه می‌دهد شوک‌ها از طریق A منتشر شوند | فراتر از دامنهٔ خطی آشفته کنید و مقایسه کنید |
| منحنی‌های آسیب‌پذیری میان مکان‌ها منتقل می‌شوند | منحنی‌های محلی به‌ندرت در دسترس‌اند | اعتبارسنجی در برابر زیان‌های مشاهده‌شده در جاهایی که وجود دارند |
- ورودی‌ها
- مجموعه‌داده‌های نسخه‌دار با خاستگاه
- خروجی‌ها
- توزیع‌ها، هرگز تک‌رقم‌ها
- کد
- منتشرشده با کارت مدل و آزمون‌ها
- بازتولید
- همان داده، کد، محیط و بذر
اصول راهنمای FAIR · GO FAIR و FORCE11W3C PROV · کنسرسیوم وب جهانیGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
08Connections
Topics that rely on this method.
09تولیت
Who maintains the method.
امنیت سایبری و تاب‌آوری دیجیتال stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10متصل
جایی که این صفحه در سراسر کنسرسیوم به آن می‌رسد.
11پرسش‌ها
پرسش و پاسخ.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
How are results checked?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
Are the values on this page real?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Where else is this method applied?
رصدخانهٔ canonical method page lists every platform that applies it.
گزارش‌هامشارکت
شواهد را از همین صفحه ارسال کنید.
گزارش‌ها is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIهوش مصنوعی و سامانه‌های خودمختارفناوری نماییشواهد Labs
- ایمیلدرگاه GW-GCRIاز همین صفحه ارسال کنیدشواهد، یک اصلاحیه، یک مورد، یک روش، یک داوری، یک ترجمه یا ورودی نمایه. با برچسب این صفحه می‌رسد تا ویراستار مسئول آن را دریافت کند.
- Zenodoسپردهٔ بازآن را واگذار کنید و به جامعه ارائه دهیدسابقهٔ خود را با شناسهٔ ORCID خود در Zenodo منتشر کنید و سپس آن را در همانجا به جامعهٔ Reports ارسال کنید. گزینشگران آن را داوری می‌کنند؛ DOI از آنِ شما میماند.
- گزارش‌هاGCRIهمهٔ راههای مشارکت را ببینیدانواع مشارکت، نحوهٔ بررسی هر یک، اعتباری که دریافت میکنید، مجوز و آنچه هرگز پذیرفته نمیشود.
هرگز داده شخصی، جزئیات حساس زیرساخت یا چیزی را که حق اشتراکش را ندارید نفرستید. هر مشارکت پیش از استفاده داوری می‌شود؛ ارسال آن حق مؤلفی یا ویرایشی نمی‌دهد و حمایت مالی هرگز یافته‌ای را نمی‌خرد.
هوش مصنوعی و سامانه‌های خودمختار
یک روش، یک مجموعه‌داده یا یک پرسش بیاورید.
اطلاعات و درخواست‌ها امروز باز است. هر درخواست یک شمارهٔ پیگیری می‌گیرد و گام بعدی را مشخص می‌کند؛ درخواست‌های عضویت، پرداخت‌ها، تخصیص رایانش و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت داوری آن‌ها فراهم باشد.
حقوقی
اسناد حقوقی.
نقشه‌ها، داده‌ها و ارقام این سایت برای زمینه و اطلاعات عمومی نشان داده می‌شوند. توصیه، پیش‌بینی یا هشدار نیستند؛ حدود این اطلاعات در سلب مسئولیت‌ها و اعلامیه‌های داده بیان شده است.