Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Yapay Zekâ ve Otonom Sistemler
Yapay zekâ sistemleri için siber güvenlik
Cybersecurity and cryptography protect AI sistemleri and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01Sicil
Cybersecurity for AI systems on the record.
Yöntem kaydıSTEM yöntemi
- YöntemSiber güvenlik ve kriptografi
- Uygulandığı yerYapay Zekâ ve Otonom Sistem
- Veri3 inputs
- Kontroller3 doğrulama adımı
- Kanonik sayfaSTEM Commons
02Başvuru
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information sistemleri and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons'a.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03İzleme
Security assessment.
Bir ekibin bu yöntemi izlemek için kullanacağı ekran: ölçütleri, durumları ve kararları. Adlar örnektir ve değerler açıklayıcıdır.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · Yapay Zekâ ve Otonom Sistemler
Bulgular
| Weak key rotation | Identity service | Yüksek | PR.AA | Açık |
| Unpatched gateway | Edge | Yüksek | PR.PS | Fixing |
| Logging gap | Ödeme API'si | Orta | DE.CM | Açık |
| Stale accounts | Rehber | Düşük | PR.AA | Kapatıldı |
Yöntem kartı
- Yöntem
- Siber güvenlik ve kriptografi
- Çerçeve
- CSF 2.0 işlevleri
- Kapsam
- 54 assets
- Etiket
- MODELLENMİŞ
Control coverage by function
04Veri
Yöntemin tükettikleri.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in kaynak sicilinde.
| Veri | Rol | Etiket |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | BİLDİRİLMİŞ |
| Vulnerability databases | Known flaws | BİLDİRİLMİŞ |
| Security test results | Defence performance | GÖZLENEN |
05Simülatör
Birbirine bağımlı ağlar üzerinden zincirleme etki.
A Tehlike izi her katmandaki aynı yerde bulunan varlıkları devre dışı bırakır; ardından parçalanma, katmanlar arası bağımlılık ve hayatta kalanların aşırı yüklenmesi arızayı yayar. 3D görünüm katmanları derinliğe göre ayırır. Belirtilen açıklayıcı değerlere sahip bir öğretim modelidir, tahmin değildir.
Kontroller
- Katman başına varlıklar
- 18
- Tehlike ayak izi
- alanın %8'i
- Başka bir katmana bağımlı varlıklar
- 60%
- Yedek kapasite (tolerans)
- 30%
Okumalar
- Tehlikeden etkilenen varlıklar
- 2%
- Çalışmaya devam eden varlıklar
- 72%
- İlk hasarın büyümesi
- 15.0 times
- Dengeye gelme adımları
- 3
Sayılar, yöntemler ve kaynaklar
| Adım | Çalışan veri merkezleri (%) | Çalışan ağlar (%) | Çalışan güç (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
Yöntemler
- Birbirine bağımlı ağlar Buldyrev ve diğerleri (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- Aşırı yük zincirleri Motter and Lai (2002), Physical Review E 66
- Aradalık yükü Brandes (2001), Journal of Mathematical Sociology 25
- Çok katmanlı ağlar Kivela and others (2014), Journal of Complex Networks 2
- Altyapı karşılıklı bağımlılıkları Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- Belirsizlik yelpazesi (parametre Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- Tek seferde bir faktör duyarlılık analizi (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Veri
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Ana yollar Natural Earth
- Demiryolları Natural Earth
- Deniz limanları Natural Earth
- Havalimanları Natural Earth
- Kentsel yayılım alanları Natural Earth
- Bu geceki gece ışıkları, kesintiler (VIIRS Day/Night Band) NASA/NOAA VIIRS (Suomi NPP) · register nasa.gibs.context-live-layers
- Doğal olaylar (NASA EONET) NASA EONET · register nasa.eonet.events
Nexus Consortium'un yürüttüğü altı ayak genelinde
- Deneyler Laboratuvarlar
- Yerleşik Foundry'de Yapay Zekâ ve Otonom Sistemler
- Test edildiği yer Universe'te Yapay Zekâ ve Otonom Sistemler
- Kodlandığı yer Standards'ta Dijital, Siber ve YZ
- Yayımlandığı yer Reports'ta Yapay Zekâ ve Otonom Sistemler
- Öğretildiği yer Academy'de Teknoloji ve Dijital Sistemler Fakültesi
06Doğrulama
Sonuçlar nasıl kontrol edilir.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Kontrol edin | Nasıl yapıldığı |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07Yöntemler ve kanıt
How Cybersecurity for AI systems is modelled, measured and tested.
Model, varsayımları, verileri ve belirsizliği, bir bilim insanının veya mühendisin kontrol edeceği biçimde. Yapılar yayımlanmış yöntemleri izler. Çizilen değerler bulgu değil, açıklayıcıdır.
Model, denklemler ve varsayımlar
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
i öğesinin riski
Ri = f(Hi, Ei, Vi, Ci)tehlike, maruziyet, kırılganlık ve başa çıkma kapasitesiBeklenen yıllık kayıp
EAL = ∑k pk · Lkyıllık olasılığı pkBağlı sistemler
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Varsayım | Neden yapıldığı | Nasıl sınanır |
|---|---|---|
| Bir olay içinde tehlike ve maruziyet bağımsızdır | Kayıp integralini çözülebilir tutar | Ortak kayıtlara uydurulmuş bir kopula ile karşılaştırın |
| Bağlantılar çalışma noktası yakınında doğrusaldır | Şokların A üzerinden yayılmasına izin verir | Doğrusal aralığın ötesine itin ve karşılaştırın |
| Kırılganlık eğrileri yerler arasında aktarılabilir | Yerel eğriler nadiren mevcuttur | Mevcut olduğunda gözlemlenen kayıplarla doğrulayın |
- Girdiler
- kaynağı belgelenmiş, sürümlü veri setleri
- Çıktılar
- dağılımlar, asla tek sayılar değil
- Kod
- model kartı ve testlerle birlikte yayımlanır
- Yeniden üretim
- aynı veri, kod, ortam ve tohum değeri
FAIR yol gösterici ilkeleri · GO FAIR ve FORCE11W3C PROV · World Wide Web ConsortiumBelirsizliklerin tutarlı ele alınmasına ilişkin kılavuz · IPCCCEOS Analysis Ready Data · Yer Gözlem Uyduları Komitesi
08Bağlantılar
Bu yönteme dayanan konular.
09Sorumlu yönetim
Yöntemi kimin sürdürdüğü.
Siber Güvenlik ve Dijital Dayanıklılık stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10Bağlı
Bu sayfanın Konsorsiyum genelinde nereye götürdüğü.
11Sorular
Sorular ve yanıtlar.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
Sonuçlar nasıl kontrol edilir?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
Bu sayfadaki değerler gerçek mi?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Bu yöntem başka nerede uygulanıyor?
Toplumları ayakta tutan Kanonik yöntem sayfası onu uygulayan tüm platformları listeler.
RaporlarKatkıda bulunun
Bu sayfadan kanıt katkısında bulunun.
Raporlar is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIYapay Zekâ ve Otonom SistemlerÜstel TeknolojiLabs Kanıtı
- E-postaGW-GCRI geçidiBu sayfadan gönderinKanıt, bir düzeltme, bir vaka, bir yöntem, bir inceleme, bir çeviri veya profil girdisi. Bu sayfayla etiketlenmiş olarak gelir; böylece sayfanın sahibi editör onu alır.
- ZenodoAçık depoDepolayın ve topluluğa gönderinKendi kaydınızı ORCID iD'nizle Zenodo'da yayımlayın, ardından orada Reports topluluğuna gönderin. Küratörler inceler; DOI sizde kalır.
- RaporlarGCRIKatkıda bulunmanın tüm yollarını görünKatkı türleri, her birinin nasıl incelendiği, alacağınız atıf, lisans ve asla kabul edilmeyenler.
Hiçbir zaman kişisel veri, hassas altyapı ayrıntısı veya paylaşma hakkınız olmayan hiçbir şey göndermeyin. Bir katkı kullanılmadan önce incelenir. Katkıyı göndermek yazarlık veya editoryal hak sağlamaz ve sponsorluk hiçbir zaman bir bulgu satın almaz.
Yapay Zekâ ve Otonom Sistemler
Bir yöntem, bir veri seti ya da bir soru getirin.
Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.
Hukuk
Hukuki belgeler.
Bu sitedeki haritalar, veriler ve şekiller bağlam ve genel bilgi amacıyla gösterilir. Tavsiye, tahmin ya da uyarı değildir; bilgilerin sınırları Sorumluluk Reddi ve Veri Bildirimleri'nde açıklanmıştır.