Threat modelling AI applications
Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.
GCRI · Inteligência artificial e sistemas autônomos
Cibersegurança para sistemas de IA
Cybersecurity and cryptography protect AI sistemas and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.
01Registrar
Cybersecurity for AI systems on the record.
Registro do métodoMétodo CTEM
- MétodoCibersegurança e criptografia
- Aplicado emEstúdio de Inteligência artificial e sistemas
- Dados3 inputs
- Verificações3 etapas de validação
- Página canônicaCommons CTEM
02Candidatura
What cybersecurity and cryptography does here.
Cybersecurity and cryptography protect information sistemas and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on o STEM Commons.
Model supply chain integrity
Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.
Injection defence testing
Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.
03Monitoramento
Security assessment.
A tela que uma equipe usaria para acompanhar este método: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.
Security assessment
AI and autonomous systems · Cybersecurity for AI systems · Run R-5953
Two high findingsGCRI · Inteligência artificial e sistemas autônomos
Constatações
| Weak key rotation | Identity service | Elevado | PR.AA | Abrir |
| Unpatched gateway | Edge | Elevado | PR.PS | Fixing |
| Logging gap | API de pagamentos | Médio | DE.CM | Abrir |
| Stale accounts | Diretório | Baixo | PR.AA | Encerrado |
Ficha do método
- Método
- Cibersegurança e criptografia
- Quadro de referência
- Funções do CSF 2.0
- Escopo
- 54 assets
- Rótulo
- MODELADO
Control coverage by function
04Dados
O que o método consome.
Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in registro de fontes.
| Dados | Função | Rótulo |
|---|---|---|
| MITRE ATLAS techniques | Threat catalogue | REPORTADO |
| Vulnerability databases | Known flaws | REPORTADO |
| Security test results | Defence performance | OBSERVADO |
05Simulador
Uma cascata através de redes interdependentes.
A pegada de perigo elimina os ativos colocalizados em cada camada; a fragmentação, a dependência entre camadas e a sobrecarga dos sobreviventes propagam depois a falha. A vista 3D separa as camadas por profundidade. Modelo didático com valores ilustrativos declarados, não uma previsão.
Controles
- Ativos por camada
- 18
- Área de impacto da ameaça
- 8% da área
- Ativos que dependem de outra camada
- 60%
- Capacidade de reserva (tolerância)
- 30%
Leituras
- Ativos atingidos pela ameaça
- 2%
- Ativos ainda a funcionar
- 72%
- Amplificação do dano inicial
- 15.0 times
- Passos até à liquidação
- 3
Números, métodos e fontes
| Passo | Centros de dados a funcionar (%) | Redes a funcionar (%) | Funcionamento da alimentação (%) |
|---|---|---|---|
| 0 | 94 | 100 | 100 |
| 1 | 89 | 67 | 100 |
| 2 | 72 | 67 | 100 |
| 3 | 72 | 67 | 78 |
Métodos
- Redes interdependentes Buldyrev and others (2010), Catastrophic cascade of failures in interdependent networks, Nature 464
- Cascatas de sobrecarga Motter and Lai (2002), Physical Review E 66
- Carga de intermediação Brandes (2001), Journal of Mathematical Sociology 25
- Redes multicamada Kivela and others (2014), Journal of Complex Networks 2
- Interdependências de infraestruturas Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- Leque de incerteza (Monte Carlo de parâmetros) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilidade de um fator de cada vez (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dados
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Rodovias principais Natural Earth
- Ferrovias Natural Earth
- Portos marítimos Natural Earth
- Aeroportos Natural Earth
- Extensões urbanas Natural Earth
- Luzes noturnas esta noite, falhas (banda dia/noite VIIRS) NASA/NOAA VIIRS (Suomi NPP) · registo nasa.gibs.context-live-layers
- Eventos naturais (NASA EONET) NASA EONET · registo nasa.eonet.events
Nos seis pilares, sob a liderança do Nexus Consortium
- Experimentos Laboratórios
- Integrado Inteligência artificial e sistemas autônomos em Foundry
- Testado em Inteligência artificial e sistemas autônomos em Universe
- Codificado em Digital, ciber e IA em Standards
- Publicado em Inteligência artificial e sistemas autônomos em Reports
- Ensinado em Faculdade de Tecnologia e Sistemas Digitais em Academy
06Validação
Como os resultados são verificados.
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
| Verificar | Como é feito |
|---|---|
| Threat model review | Threat models are reviewed when the application or its tools change |
| Provenance verification | Model artefacts are checked against signed records |
| Regression testing | Security tests are rerun after each update |
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
07Métodos e evidência
How Cybersecurity for AI systems is modelled, measured and tested.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo, equações e pressupostos
The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.
Risco do elemento i
Ri = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamentoPerda anual esperada
EAL = ∑k pk · Lksobre os eventos k com probabilidade anual pkSistemas acoplados
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Pressuposto | Porque é feito | Como é testado |
|---|---|---|
| A ameaça e a exposição são independentes dentro de um evento | Mantém tratável o integral de perdas | Comparar com um ajuste de cópula sobre registros conjuntos |
| Os acoplamentos são lineares perto do ponto de funcionamento | Permite que os choques se propaguem através de A | Perturbar para além do intervalo linear e comparar |
| As curvas de vulnerabilidade transferem-se entre lugares | As curvas locais raramente estão disponíveis | Validar face às perdas observadas quando existam |
- Entradas
- conjuntos de dados versionados com proveniência
- Resultados
- distribuições, nunca números isolados
- Código
- publicado com a ficha de modelo e os testes
- Reprodução
- mesmos dados, código, ambiente e semente
Princípios orientadores FAIR · GO FAIR e FORCE11W3C PROV · World Wide Web ConsortiumOrientação sobre o tratamento consistente das incertezas · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
08Conexões
Temas que se apoiam neste método.
09Gestão responsável
Quem mantém o método.
Cibersegurança e resiliência digital stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.
10Ligado
Para onde esta página leva em todo o Consórcio.
11Perguntas
Perguntas e respostas.
What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
Como os resultados são verificados?
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
Os valores desta página são reais?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Onde mais este método é aplicado?
A página canônica do método lista todas as plataformas que o aplicam.
RelatóriosContribuir
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIInteligência artificial e sistemas autônomosTecnologia exponencialEvidências de Labs
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Inteligência artificial e sistemas autônomos
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Jurídico
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.