Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · 인공지능과 자율 시스템
Cybersecurity and cryptography protect AI 시스템 and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
Cybersecurity and cryptography protect information 시스템 and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons.
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
팀이 이 방법을 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
| Weak key rotation | Identity service | 높음 | PR.AA | 열기 |
| Unpatched gateway | Edge | 높음 | PR.PS | Fixing |
| Logging gap | 결제 API | 보통 | DE.CM | 열기 |
| Stale accounts | 명부 | 낮음 | PR.AA | 종결 |
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in 출처 등록부.
| 데이터 | 역할 | 라벨 |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | 보고됨 |
| Vulnerability databases | Known flaws | 보고됨 |
| Security test results | Defence performance | 관측 |
A 재해 영향 범위 은 모든 층에서 같은 곳에 있는 자산을 무너뜨리고, 이어서 분절, 층 간 의존과 남은 자산의 과부하가 장애를 퍼뜨립니다. 3D 보기는 층을 깊이로 분리합니다. 예시 값을 밝힌 교육용 모델이며 예측이 아닙니다.
통제 수단
판독값
| 단계 | 작동 중인 데이터센터(%) | 작동 중인 네트워크(%) | 전력 작동(%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
여섯 기둥 전반에 걸쳐, Nexus Consortium 주도
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| 점검 | 수행 방식 |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량EAL = ∑k pk · Lk연간 확률이 pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 가정 | 만드는 이유 | 시험 방법 |
|---|---|---|
| 한 사건 안에서 재해와 노출은 서로 독립적임 | 손실 적분을 다루기 쉽게 유지함 | 결합 기록에 적합한 코퓰러와 비교 |
| 결합은 운전점 근처에서 선형이다 | 충격이 A를 통해 전파되게 함 | 선형 범위를 넘어 섭동을 주고 비교하십시오 |
| 취약성 곡선은 장소 간에 옮겨 쓸 수 있다 | 지역 곡선은 거의 없다 | 관측된 손실이 있는 곳에서는 이에 대해 검증 |
사이버보안과 디지털 회복력 stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
보고서 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.
This site uses only strictly necessary cookies to work and to remember your privacy choices. Nothing loads from other companies, and we never sell or share your personal information.
This site uses only strictly necessary cookies to work and to remember your privacy choices. Nothing loads from other companies, and we never sell or share your personal information. We run no advertising. You can review your choices at any time through Privacy choices at the foot of every page.