GCRI · Inteligência artificial e sistemas autônomos
Métodos e incerteza
The methods Artificial Intelligence and Autonomous sistemas relies on: their equations and assumptions, the data they need, how they are validated and the limits of what they can show.
A ordem em que as coisas acontecem.
- 01Rascunhofontes citadas, rótulos anexados
- 02Verificação das evidênciascada valor rastreado
- 03Revisão independenteconflitos declarados
- 04Ediçãopublicado com seus limites
- 05Correçãouma nova versão, nunca uma edição silenciosa
Os métodos em uso.
- 01Inteligência artificial e aprendizado de máquinaAnálise de mudança de distribuição · Ajuste fino para um uso específico · Métodos de interpretabilidadeAplicado aqui
- 02Engenharia de avaliação e garantia de IACasos de garantia para sistemas de IA · Red teaming estruturado · Monitoramento pós-implantaçãoAplicado aqui
- 03Computação de alto desempenho, em nuvem e de bordaAcesso à computação para a pesquisa pública · Medição da energia das cargas de trabalhoAplicado aqui
- 04Probabilidade e estatísticaIncerteza das pontuações de benchmark · Avaliação da calibração · Amostragem de auditoriaAplicado aqui
- 05Cibersegurança e criptografiaModelagem de ameaças de aplicações de IA · Integridade da cadeia de suprimentos de modelos · Testes de defesa contra injeçãoAplicado aqui
- 06Ciências sociais e comportamentaisEstudos sobre supervisão humana · Pesquisa com comunidades afetadas · Estudos sobre adoção no local de trabalhoAplicado aqui
- 07Robótica e automaçãoTestes baseados em cenários · Segurança de robôs colaborativos · Monitoramento do domínio operacionalAplicado aqui
Each method, its role in this field and how it is checked.
- Ai MLRole hereArtificial intelligence and machine learning is the technology this platform stewards for the network.Checks appliedHeld-out evaluation; Dataset documentation; Drift monitoring
- Ai assuranceRole hereAI evaluation and assurance engineering is the second method this platform stewards.Checks appliedIndependent review; Evidence currency; Coverage reporting
- ComputingRole hereHigh-performance and cloud computing supply the capacity AI needs.Checks appliedMeasurement boundaries; Reproducible configuration; Provider data verification
- Probability statisticsRole hereProbability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits.Checks appliedInterval reporting; Multiple comparisons; Sample size planning
- CibersegurançaRole hereCybersecurity and cryptography protect AI systems and the data they use.Checks appliedThreat model review; Provenance verification; Regression testing
- Ciências sociaisRole hereSocial and behavioural science studies how people use, trust and are affected by AI.Checks appliedEthics review; Pre-registration; Representative sampling
- RobóticaRole hereRobotics and automation bring AI into physical systems.Checks appliedScenario coverage; Simulation validity; Standards conformity
Como decorre o processo.
Process explorer · Process
Methods and uncertainty: PRISMA 2020 review reporting
10 steps·4 etapas
Processo
Methods and uncertainty: PRISMA 2020 review reporting
A PRISMA 2020 é uma diretriz de relato para revisões sistemáticas; as etapas seguem sua lista de verificação, não uma sequência obrigatória, e nenhum documento Nexus a adota.
01 Plan
- 01Registro e protocoloRegistro · A equipe de revisãoA diretriz pede os dados de registro, o acesso ao protocolo e quaisquer alterações.
- 02Critérios de elegibilidadeRegistro · A equipe de revisãoA diretriz pede os critérios de inclusão e de exclusão e a forma como os estudos foram agrupados.
02 Encontrar e selecionar
- 03Busca: fontes e estratégiasEtapa · A equipe de revisãoA diretriz pede as fontes de informação e as estratégias de busca completas. Não fixa quais fontes são utilizadas.
- 04Seleção dos estudosEtapa · A equipe de revisãoA diretriz pergunta como os estudos foram considerados elegíveis, incluindo quantos revisores fizeram a triagem. Não fixa o número de revisores.
- 05Diagrama de fluxoRegistroO diagrama de fluxo mostra o número de registros encontrados, o número de estudos incluídos e os motivos de exclusão.
03 Analisar
- 06Coleta de dadosEtapa · A equipe de revisãoA diretriz pergunta como os dados foram coletados dos relatórios e quais itens de dados foram procurados.
- 07Risco de viésEtapa · A equipe de revisãoA diretriz pede os métodos e as ferramentas utilizados para avaliar o risco de viés.
- 08SínteseModelo · A equipe de revisãoA diretriz pede as medidas de efeito e os métodos de síntese. Não prescreve a meta-análise.
- 09Certeza das evidênciasEtapa · A equipe de revisãoA diretriz pede os métodos utilizados para avaliar a certeza e relata o resultado por desfecho. Não indica uma escala de graduação.
04 Relatório
- 10Relatório de revisãoRegistroA diretriz ajuda os autores a relatar por que a revisão foi feita, o que fizeram e o que constataram.
RelatóriosOutline of an externally published reporting guideline, not a Nexus process and not a record of operation. PRISMA 2020 mainly covers reviews of intervention effects. No Nexus page names it. Every programme is at service level R0.
Where uncertainty in AI analysis comes from, and how it is shown.
| Fonte | Why it matters here | How it is reported |
|---|---|---|
| Benchmark validity | Benchmarks saturate and leak into training data | Several evaluations, held-out tests, dates stated |
| Capability elicitation | Measured capability depends on prompting and tools | Elicitation effort described |
| Deployment context | Risk depends on use, not only the model | Use-specific assessment |
| Incident data | Reporting is voluntary and uneven | Incident sources and coverage stated |
Evaluation results carry the model version, date and setup; AI capability changes quickly and old results expire.
Como a incerteza é relatada.
- 01
Declarar os pressupostos
Cada análise lista seus pressupostos e os dados de que depende.
- 02
Quantificar sempre que possível
Os intervalos e a confiança são relatados ao lado das estimativas centrais.
- 03
Validar e comparar
Os modelos são verificados em relação às observações e, sempre que possível, a outros modelos.
- 04
Publicar os limites
O que uma análise não pode mostrar é declarado ao lado do que ela pode mostrar.
Where this page’s references lead.
Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.
Perguntas e respostas.
Os métodos são abertos?
Contribua com evidências a partir desta página.
Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.