Uncertainty on benchmark scores
Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.
GCRI · Inteligência artificial e sistemas autônomos
Estatística para a avaliação de IA
Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.
01Registrar
Statistics for AI evaluation on the record.
Registro do métodoMétodo CTEM
- MétodoProbabilidade e estatística
- GuardiãoCiência de sistemas e modelagem
- Aplicado emEstúdio de Inteligência artificial e sistemas
- Dados3 inputs
- Verificações3 etapas de validação
- Página canônicaCommons CTEM
02Candidatura
What probability and statistics does here.
Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected sistemas. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on o STEM Commons.
Calibration assessment
Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.
Audit sampling
Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.
03Métodos e evidência
How Statistics for AI evaluation is modelled, measured and tested.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo, equações e pressupostos
The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.
Risco do elemento i
Ri = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamentoPerda anual esperada
EAL = ∑k pk · Lksobre os eventos k com probabilidade anual pkSistemas acoplados
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Pressuposto | Porque é feito | Como é testado |
|---|---|---|
| A ameaça e a exposição são independentes dentro de um evento | Mantém tratável o integral de perdas | Comparar com um ajuste de cópula sobre registros conjuntos |
| Os acoplamentos são lineares perto do ponto de funcionamento | Permite que os choques se propaguem através de A | Perturbar para além do intervalo linear e comparar |
| As curvas de vulnerabilidade transferem-se entre lugares | As curvas locais raramente estão disponíveis | Validar face às perdas observadas quando existam |
- Entradas
- conjuntos de dados versionados com proveniência
- Resultados
- distribuições, nunca números isolados
- Código
- publicado com a ficha de modelo e os testes
- Reprodução
- mesmos dados, código, ambiente e semente
Princípios orientadores FAIR · GO FAIR e FORCE11W3C PROV · World Wide Web ConsortiumOrientação sobre o tratamento consistente das incertezas · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
04Dados
O que o método consome.
Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in registro de fontes.
| Dados | Função | Rótulo |
|---|---|---|
| Evaluation outputs | Score estimation | OBSERVADO |
| Labelled audit samples | Error estimation | OBSERVADO |
| Prediction logs | Calibração | OBSERVADO |
05Processo
Como decorre o processo.
Process explorer · Process
Statistics for AI evaluation: Catastrophe model pipeline
10 steps·5 etapas
Processo
Statistics for AI evaluation: Catastrophe model pipeline
Os modelos de catástrofe têm normalmente módulos de ameaças, de vulnerabilidade, de exposição e financeiro, e produzem tabelas de perdas, a perda anual média, curvas de excedência, a PML e o TVaR.
01 Ameaça
- 01Catálogo de eventosConjunto de dados · Desenvolvedor do modeloO módulo de ameaças contém um grande catálogo de eventos simulados que representa uma ampla gama de cenários plausíveis.
- 03Módulo de ameaçasModelo · Desenvolvedor do modeloPara cada evento, o módulo de ameaças dá a intensidade da ameaça local que o módulo de vulnerabilidade lê.
02 Exposição e danos
- 02ExposiçãoDataset · Incident responderO módulo de exposição contém os dados da carteira, como as informações específicas de cada localização.
- 04Módulo de vulnerabilidadeModelo · Desenvolvedor do modeloO módulo de vulnerabilidade quantifica o dano esperado às exposições a partir de um evento.
03 Financeiro
- 05Módulo financeiroModel · Incident responderO módulo financeiro calcula as perdas de todos os cenários de eventos. As perdas brutas na origem, brutas e líquidas diferem como se mostra abaixo.
- 06Tabela de perdas por eventoDataset · Incident responderUma tabela de perdas por evento lista cada evento com sua probabilidade anual de ocorrência e sua perda para a carteira.
- 07Tabela de perdas anuaisDataset · Incident responderAlguns modelos também amostram anos simulados a partir das perdas dos eventos. Este esboço não descreve seu formato.
04 Métricas
- 08Probabilidade de excedência curvesModel · Incident responderA curva de ocorrência dá a probabilidade de que a maior perda em um ano exceda um montante. A curva agregada faz o mesmo para a soma das perdas.
- 09AAL, PML e TVaRModel · Incident responderA perda média anual soma a probabilidade de cada evento multiplicada pela perda. A PML é um ponto na curva de ocorrência.
05 Uso dos resultados
- 10Uso dos resultadosDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
Esboço de uma norma ou de um método externo, a partir de suas fontes públicas. Descreve o que o quadro diz, não um registro de qualquer execução. Não mostra que o Nexus ou qualquer parceiro executa, certifica ou aprova uma etapa. Uma etapa de controle é uma etapa do método, nunca uma aprovação Nexus.
06Validação
Como os resultados são verificados.
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
| Verificar | Como é feito |
|---|---|
| Interval reporting | Every metric is reported with its uncertainty |
| Multiple comparisons | Comparisons across many tasks are corrected for multiple testing |
| Sample size planning | Audit samples are sized to detect differences of stated magnitude |
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
07Conexões
Temas que se apoiam neste método.
08Gestão responsável
Quem mantém o método.
Ciência de sistemas e modelagem stewards probability and statistics for the Consortium and reviews how it is applied across platforms.
09Ligado
Para onde esta página leva em todo o Consórcio.
10Perguntas
Perguntas e respostas.
What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
Como os resultados são verificados?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
Os valores desta página são reais?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Onde mais este método é aplicado?
A página canônica do método lista todas as plataformas que o aplicam.
RelatóriosContribuir
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIInteligência artificial e sistemas autônomosTecnologia exponencialEvidências de Labs
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Inteligência artificial e sistemas autônomos
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Jurídico
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.