Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · Inteligência artificial e sistemas autônomos
Comportamento do aprendizado de máquina
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
01Registrar
Machine learning behaviour on the record.
Registro do métodoMétodo CTEM
- MétodoInteligência artificial e aprendizado de máquina
- GuardiãoEstúdio de Inteligência artificial e sistemas
- Aplicado emInteligência artificial e sistemas autônomos
- Dados3 inputs
- Verificações3 etapas de validação
- Página canônicaCommons CTEM
02Candidatura
O que a inteligência artificial e o aprendizado de máquina fazem aqui.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected sistemas. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on o STEM Commons.
Fine-tuning for a specific use
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Interpretability methods
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
03Simulador
Um modelo de limiar do comportamento coletivo.
Cada agente age quando um número suficiente dos seus contactos o fez; pequenas alterações no limiar médio ou nos primeiros a agir decidem se o comportamento fica local ou se propaga em cascata pela população. Modelo didático com valores ilustrativos declarados, não uma previsão.
Controles
- Limiar médio (proporção de vizinhos)
- 18%
- Dispersão dos limiares
- 8 pontos
- Primeiros a agir
- 2,0% das pessoas
- Contactos por pessoa
- 8
Leituras
- Proporção dos que acabaram por agir
- 100%
- Cascata global
- Sim
- Passos até à liquidação
- 10
Números, métodos e fontes
| Passo | Proporção que agiu (%) |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
Métodos
- Modelos de limiar do comportamento coletivo Granovetter (1978), American Journal of Sociology 83
- Cascatas globais em redes aleatórias Watts (2002), PNAS 99
- Contágios complexos Centola and Macy (2007), American Journal of Sociology 113
- Sensibilidade de um fator de cada vez (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dados
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
Nos seis pilares, sob a liderança do Nexus Consortium
- Experimentos Laboratórios
- Integrado Inteligência artificial e sistemas autônomos em Foundry
- Testado em Inteligência artificial e sistemas autônomos em Universe
- Codificado em Digital, ciber e IA em Standards
- Publicado em Inteligência artificial e sistemas autônomos em Reports
- Ensinado em Faculdade de Tecnologia e Sistemas Digitais em Academy
04Dados
O que o método consome.
Conjuntos de dados e registros usados pela inteligência artificial e pelo aprendizado de máquina nesta plataforma, com o papel que cada um desempenha e a etiqueta que seus valores levam. As fontes estão listadas no registro de fontes.
| Dados | Função | Rótulo |
|---|---|---|
| Training and validation datasets with documentation | Model development | DECLARADO |
| Deployment input logs | Shift detection | OBSERVADO |
| Benchmark suites | Comparison | REPORTADO |
05Métodos e evidência
How machine learning behaviour is modelled, measured and tested.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo, equações e pressupostos
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
Risco do elemento i
Ri = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamentoPerda anual esperada
EAL = ∑k pk · Lksobre os eventos k com probabilidade anual pkSistemas acoplados
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Pressuposto | Porque é feito | Como é testado |
|---|---|---|
| A ameaça e a exposição são independentes dentro de um evento | Mantém tratável o integral de perdas | Comparar com um ajuste de cópula sobre registros conjuntos |
| Os acoplamentos são lineares perto do ponto de funcionamento | Permite que os choques se propaguem através de A | Perturbar para além do intervalo linear e comparar |
| As curvas de vulnerabilidade transferem-se entre lugares | As curvas locais raramente estão disponíveis | Validar face às perdas observadas quando existam |
- Entradas
- conjuntos de dados versionados com proveniência
- Resultados
- distribuições, nunca números isolados
- Código
- publicado com a ficha de modelo e os testes
- Reprodução
- mesmos dados, código, ambiente e semente
Princípios orientadores FAIR · GO FAIR e FORCE11W3C PROV · World Wide Web ConsortiumOrientação sobre o tratamento consistente das incertezas · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validação
Como os resultados são verificados.
Os modelos são avaliados com dados reservados que respeitam a estrutura espacial, temporal e de grupos. A robustez, a calibração e a equidade são testadas ao lado da exatidão.
| Verificar | Como é feito |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
O desempenho se degrada quando as condições de implantação diferem dos dados de treinamento. Os modelos podem codificar vieses e falhar sem aviso claro em eventos raros.
07Conexões
Temas que se apoiam neste método.
08Gestão responsável
Quem mantém o método.
Estúdio de Inteligência artificial e sistemas é guardião da inteligência artificial e do aprendizado de máquina para o Consortium e revisa como são aplicados nas plataformas.
09Perguntas
Perguntas e respostas.
Quais são os limites da inteligência artificial e do aprendizado de máquina neste campo?
O desempenho se degrada quando as condições de implantação diferem dos dados de treinamento. Os modelos podem codificar vieses e falhar sem aviso claro em eventos raros.
Como os resultados são verificados?
Os modelos são avaliados com dados reservados que respeitam a estrutura espacial, temporal e de grupos. A robustez, a calibração e a equidade são testadas ao lado da exatidão.
Os valores desta página são reais?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Onde mais este método é aplicado?
A página canônica do método lista todas as plataformas que o aplicam.
RelatóriosContribuir
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIInteligência artificial e sistemas autônomosTecnologia exponencialEvidências de Labs
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Inteligência artificial e sistemas autônomos
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Jurídico
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.