Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Kecerdasan Buatan dan Sistem Otonom
Keamanan siber untuk sistem AI
Cybersecurity and cryptography protect AI sistem and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01Daftar
Cybersecurity for AI systems on the record.
Catatan metodeMetode STEM
- MetodeKeamanan siber dan kriptografi
- PengelolaKeamanan Siber dan Ketahanan Digital
- Diterapkan diStudio Kecerdasan Buatan dan Sistem
- Data3 inputs
- Pemeriksaan3 langkah validasi
- Halaman kanonisSTEM Commons
02Permohonan
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information sistem and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03Pantau
Security assessment.
Layar yang akan digunakan sebuah tim untuk mengikuti metode ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · Kecerdasan Buatan dan Sistem Otonom
Temuan
| Weak key rotation | Identity service | Tinggi | PR.AA | Buka |
| Unpatched gateway | Edge | Tinggi | PR.PS | Fixing |
| Logging gap | API pembayaran | Sedang | DE.CM | Buka |
| Stale accounts | Direktori | Rendah | PR.AA | Ditutup |
Kartu metode
- Metode
- Keamanan siber dan kriptografi
- Kerangka
- Fungsi CSF 2.0
- Lingkup
- 54 assets
- Label
- DIMODELKAN
Control coverage by function
04Data
Apa yang digunakan metode ini.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in register sumber.
| Data | Peran | Label |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | DILAPORKAN |
| Vulnerability databases | Known flaws | DILAPORKAN |
| Security test results | Defence performance | TERAMATI |
05Simulator
Efek berantai melalui jaringan yang saling bergantung.
A Jejak bahaya melumpuhkan aset yang berada di lokasi sama pada setiap lapisan; fragmentasi, ketergantungan antarlapisan, dan kelebihan beban pada yang selamat kemudian menyebarkan kegagalan. Tampilan 3D memisahkan lapisan menurut kedalaman. Model pengajaran dengan nilai ilustratif yang dinyatakan, bukan prediksi.
Kendali
- Aset per lapisan
- 18
- Jejak bahaya
- 8% dari luas wilayah
- Aset yang bergantung pada lapisan lain
- 60%
- Kapasitas cadangan (toleransi)
- 30%
Pembacaan
- Aset yang terdampak bahaya
- 2%
- Aset yang masih berfungsi
- 72%
- Penguatan kerusakan awal
- 15.0 times
- Langkah menuju stabil
- 3
Angka, metode, dan sumber
| Langkah | Pusat data berfungsi (%) | Jaringan berfungsi (%) | Daya berfungsi (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
Metode
- Jaringan yang saling bergantung Buldyrev dan lainnya (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- Rambatan kelebihan beban Motter and Lai (2002), Physical Review E 66
- Beban keantaraan Brandes (2001), Journal of Mathematical Sociology 25
- Jaringan multilapis Kivela and others (2014), Journal of Complex Networks 2
- Saling ketergantungan infrastruktur Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- Kipas ketidakpastian (Monte Carlo parameter) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- Sensitivitas satu per satu (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Data
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Jalan utama Natural Earth
- Jalur kereta api Natural Earth
- Pelabuhan laut Natural Earth
- Bandar udara Natural Earth
- Luasan perkotaan Natural Earth
- Cahaya malam hari ini, pemadaman (VIIRS Day/Night Band) NASA/NOAA VIIRS (Suomi NPP) · register nasa.gibs.context-live-layers
- Peristiwa alam (NASA EONET) NASA EONET · register nasa.eonet.events
Di seluruh enam pilar, dipimpin oleh Nexus Consortium
- Eksperimen Laboratorium
- Tertanam di Kecerdasan Buatan dan Sistem Otonom di Foundry
- Diuji pada Kecerdasan Buatan dan Sistem Otonom di Universe
- Dikodifikasi dalam Digital, Siber, dan AI di Standards
- Diterbitkan di Kecerdasan Buatan dan Sistem Otonom di Reports
- Diajarkan di Fakultas Teknologi dan Sistem Digital di Academy
06Validasi
Cara hasil diperiksa.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Pemeriksaan | Cara pelaksanaannya |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07Metode dan bukti
How Cybersecurity for AI systems is modelled, measured and tested.
Model, asumsi, data, dan ketidakpastiannya, dalam bentuk yang akan diperiksa ilmuwan atau insinyur. Strukturnya mengikuti metode yang dipublikasikan. Nilai yang digambar bersifat ilustratif, bukan temuan.
Model, persamaan, dan asumsi
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Risiko elemen i
Ri = f(Hi, Ei, Vi, Ci)bahaya, keterpaparan, kerentanan, dan kapasitas penanggulanganKerugian tahunan yang diharapkan
EAL = ∑k pk · Lkatas peristiwa k dengan probabilitas tahunan pkSistem terhubung
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Asumsi | Mengapa ini dibuat | Bagaimana ini diuji |
|---|---|---|
| Bahaya dan eksposur bersifat independen dalam satu peristiwa | Menjaga integral kerugian tetap dapat dihitung | Bandingkan dengan pencocokan kopula pada catatan gabungan |
| Keterkaitan bersifat linear di dekat titik operasi | Membiarkan guncangan merambat melalui A | Uji di luar rentang linear lalu bandingkan |
| Kurva kerentanan dapat dipindahkan antartempat | Kurva lokal jarang tersedia | Validasi terhadap kerugian teramati jika tersedia |
- Masukan
- dataset berversi dengan asal-usul yang tercatat
- Keluaran
- distribusi, bukan angka tunggal
- Kode
- dirilis bersama kartu model dan pengujiannya
- Reproduksi
- data, kode, lingkungan, dan seed yang sama
Prinsip panduan FAIR · GO FAIR dan FORCE11W3C PROV · World Wide Web ConsortiumPanduan penanganan ketidakpastian secara konsisten · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
08Keterkaitan
Topik yang bertumpu pada metode ini.
09Pengelolaan
Siapa yang memelihara metode ini.
Keamanan Siber dan Ketahanan Digital stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10Terhubung
Ke mana halaman ini mengarah di seluruh Konsorsium.
11Pertanyaan
Tanya jawab.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
Bagaimana hasil diperiksa?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
Apakah nilai di halaman ini nyata?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Di mana lagi metode ini diterapkan?
Observatory Halaman metode kanonis mencantumkan setiap platform yang menerapkannya.
LaporanBerkontribusi
Kontribusikan bukti dari halaman ini.
Laporan is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIKecerdasan Buatan dan Sistem OtonomTeknologi EksponensialBukti Labs
- SurelGerbang GW-GCRIKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoDeposit terbukaDeposit dan ajukan ke komunitasTerbitkan catatan Anda sendiri di Zenodo dengan ORCID iD Anda, lalu ajukan ke komunitas Reports di sana. Kurator meninjaunya; DOI tetap milik Anda.
- LaporanGCRILihat semua cara berkontribusiJenis kontribusi, cara masing-masing ditinjau, kredit yang Anda terima, lisensinya, dan apa yang tidak pernah diterima.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Kecerdasan Buatan dan Sistem Otonom
Bawa metode, dataset, atau pertanyaan.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Hukum
Dokumen hukum.
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.