GCRI · 인공지능과 자율 시스템
AI 사이버보안
AI and cybersecurity meet in three ways: AI 시스템 can be attacked, AI can help attackers, and AI can help defenders. Models can be poisoned, stolen, manipulated or made to leak data; their supply chains of data, weights and libraries carry new risks. This page sets out how these threats work, how AI systems are secured, and what evidence serves the security teams and regulators responsible.
AI cyber security on the record.
AI cyber security: how the risk develops.
Adversarial methods and model exposure. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Models are attack surfaces
Adversarial inputs, prompt injection, data extraction and model theft target the model itself. Classic application vulnerabilities still apply around it.
The AI supply chain is long
Training data, pretrained weights, libraries and plugins come from many sources. Poisoned data or tampered models can introduce hidden behaviour.
AI lowers the cost of some attacks
Generative AI can draft phishing, translate lures and help write code, lowering the skill barrier for some attacks. The size of this effect is studied and debated.
AI assists defence
Machine learning detects anomalies, triages alerts and finds vulnerabilities. Defenders must also secure the AI tools they adopt.
상호 의존하는 네트워크를 통한 연쇄.
A 재해 영향 범위 은 모든 층에서 같은 곳에 있는 자산을 무너뜨리고, 이어서 분절, 층 간 의존과 남은 자산의 과부하가 장애를 퍼뜨립니다. 3D 보기는 층을 깊이로 분리합니다. 예시 값을 밝힌 교육용 모델이며 예측이 아닙니다.
통제 수단
- 레이어별 자산
- 18
- 재해 영향 범위
- 면적의 8%
- 다른 레이어에 의존하는 자산
- 60%
- 예비 용량(허용치)
- 30%
판독값
- 재해의 타격을 받은 자산
- 7%
- 여전히 작동하는 자산
- 50%
- 초기 피해의 증폭
- 6.8 times
- 정착까지의 단계
- 3
수치, 방법과 출처
| 단계 | 작동 중인 데이터센터(%) | 작동 중인 네트워크(%) | 전력 작동(%) |
|---|---|---|---|
| 0 | 83 | 94 | 100 |
| 1 | 72 | 78 | 94 |
| 2 | 61 | 67 | 50 |
| 3 | 61 | 67 | 22 |
방법
- 상호의존 네트워크 Buldyrev 외(2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- 과부하 캐스케이드 Motter and Lai (2002), Physical Review E 66
- 매개 부하 Brandes (2001), Journal of Mathematical Sociology 25
- 다층 네트워크 Kivela and others (2014), Journal of Complex Networks 2
- 인프라 상호 의존성 Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- 불확실성 팬(매개변수 몬테카를로) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- 단일 요인 민감도(토네이도) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
데이터
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- 주요 도로 Natural Earth
- 철도 Natural Earth
- 항구 Natural Earth
- 공항 Natural Earth
- 도시 범위 Natural Earth
- 오늘 밤 야간 조명, 정전(VIIRS 주야간 밴드) NASA/NOAA VIIRS(Suomi NPP) · 등록 nasa.gibs.context-live-layers
- 자연 사건(NASA EONET) NASA EONET · 등록 nasa.eonet.events
여섯 기둥 전반에 걸쳐, Nexus Consortium 주도
- 실험 랩
- 내장됨 Foundry의 인공지능과 자율 시스템
- 시험 장소 Universe의 인공지능과 자율 시스템
- 성문화된 곳 Standards의 디지털, 사이버, AI
- 게재처 Reports의 인공지능과 자율 시스템
- 강의 과목 Academy의 기술·디지털 시스템 학부
AI changes cyber risk in every domain’s control systems.
Findings are designed for the 기하급수적 기술 시리즈. ISO/IEC 23894 (2023) sets AI risk management guidance; the page publishes no attack techniques.
- Defensive evaluations of AI tools.
- Incident case studies.
How AI cyber security is modelled, measured and tested.
모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.
시스템 모형
The couplings between the systems in AI cyber security: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
측정되는 것과 그 정확도.
각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.
| 지표 | 단위 | 주기 | 출처 유형 | 라벨 |
|---|---|---|---|---|
| Vulnerabilities reported in AI frameworks and libraries | count of CVE entries | 월별 | Vulnerability databases | 보고됨 |
| Adversarial robustness | accuracy under a stated attack | per evaluation | Robustness testing | 관측 |
| Models with signed provenance | percent of deployed models | per inventory | Model registries | 신고됨 |
| AI-related security incidents | count by technique | 연간 | Incident reports | 보고됨 |
| Time to detect AI system compromise | hours | per incident | Incident response records | 관측 |
| Organisations with AI security policies | percent of surveyed organisations | per survey | Industry surveys | 보고됨 |
근거의 출처.
이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.
| 출처 | 제공하는 것 | 라이선스 등급 |
|---|---|---|
| MITRE ATLAS | Adversarial tactics and techniques against AI 시스템, with case studies | Public, licence to check |
| NIST adversarial machine learning taxonomy | Terminology and taxonomy of attacks and mitigations | Public domain, US government |
| National Vulnerability Database and CVE records | Vulnerabilities in AI software | Public domain, US government |
| ENISA reports on AI cybersecurity | Threat landscape and good practice for securing AI | Public, ENISA terms |
| Joint guidance from national cyber agencies on secure AI system development | Secure design, development, deployment and operation | Public, terms per agency |
누가 결정하며 근거는 무엇에 쓰이는지.
인공지능과 자율 시스템 prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| 결정 주체 | 질문 | 이 페이지가 제공하는 근거 |
|---|---|---|
| Chief information security officers | How to secure AI systems the organisation builds or buys | Threat models; supply chain checklists |
| National cybersecurity agencies | What guidance to issue on AI security | Incident and vulnerability evidence |
| 개발자 | Which defences to build into models and applications | Robustness testing; attack taxonomies |
이 주제가 생산하는 산출물
- Threat models for AI deployments
- AI supply chain security checklists
- Robustness testing protocols
- Evidence notes on AI-enabled attack trends
What security researchers ask.
- How can inputs be crafted to make a model misbehave, and how robust are defences?
- Can an attacker poison training data or tamper with model weights in the supply chain?
- Can private training data or a model itself be extracted through its outputs?
- How does AI change attackers’ and defenders’ capabilities?
The AI attack surface.
Adversarial examples are inputs altered in ways imperceptible to people that cause models to err. Data poisoning inserts malicious examples into training data to plant backdoors. Membership inference and extraction attacks recover information about training data or replicate a model through repeated queries. For language models, jailbreaks and prompt injection bypass intended restrictions.
On the other side, AI can help attackers find vulnerabilities, write malware variants and craft convincing phishing at scale, and help defenders triage alerts, analyse code and detect anomalies. The balance between the two is an open research question.
Security engineering for AI.
- 01
Red-teaming
Structured attempts to break a system, combining 사이버보안과 암호학 and artificial intelligence and machine learning expertise. Red-teaming finds problems but cannot prove their absence.
- 02
위협 모델링
Mapping assets, adversaries and attack paths across data, training, deployment and supply chain.
- 03
Robustness testing
Measuring performance under adversarial perturbation. Robustness to known attacks does not imply robustness to new ones.
- 04
Supply-chain integrity
Provenance of datasets, models and dependencies, with signing and verification. Provenance tooling is still maturing.
연구되는 방식과 방법이 말할 수 없는 것.
Where this page’s references lead.
이 페이지를 읽을 때 기준이 되는 기구와 문서. 상태와 판은 바뀌며, 각 링크는 발행 기구로 연결됩니다.
질문과 답변.
What is data poisoning?
What is MITRE ATLAS?
Does AI make cyberattacks easier?
Does the platform publish attack techniques?
How do I report a vulnerability?
Is open release of model weights a security risk?
Can AI defend against AI-enabled attacks?
이 페이지에서 증거를 기여하십시오.
보고서 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- 이메일게이트웨이 GW-GCRI이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- Zenodo개방형 예치기탁하고 커뮤니티에 제출하기ORCID iD로 Zenodo에 직접 기록을 게시한 뒤, 그곳의 Reports 커뮤니티에 제출하십시오. 큐레이터가 검토하며, DOI는 귀하의 것으로 남습니다.
- 보고서GCRI모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
방법, 데이터세트 또는 질문을 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.