Uncertainty on benchmark scores
Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.
GCRI · Inteligencia artificial y sistemas autónomos
Estadística para la evaluación de la IA
Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.
01Registro
Statistics for AI evaluation on the record.
Registro del métodoMétodo CTIM
- MétodoProbabilidad y estadística
- Se aplica enEstudio de Inteligencia artificial y sistemas
- Datos3 inputs
- Comprobaciones3 pasos de validación
- Página canónicaProcomún CTIM
02Solicitud
What probability and statistics does here.
Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected sistemas. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons.
Calibration assessment
Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.
Audit sampling
Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.
03Métodos y evidencia
How Statistics for AI evaluation is modelled, measured and tested.
El modelo, sus supuestos, sus datos y su incertidumbre, en la forma en que un científico o un ingeniero los comprobaría. Las estructuras siguen métodos publicados. Los valores representados son ilustrativos, no hallazgos.
Modelo, ecuaciones y supuestos
The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.
Riesgo del elemento i
Ri = f(Hi, Ei, Vi, Ci)amenaza, exposición, vulnerabilidad y capacidad de afrontamientoPérdida anual esperada
EAL = ∑k pk · Lksobre los eventos k con probabilidad anual pkSistemas acoplados
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Supuesto | Por qué se hace | Cómo se prueba |
|---|---|---|
| La amenaza y la exposición son independientes dentro de un evento | Mantiene manejable la integral de pérdidas | Comparar con un ajuste de cópula sobre registros conjuntos |
| Los acoplamientos son lineales cerca del punto de operación | Permite que las perturbaciones se propaguen a través de A | Perturbar más allá del rango lineal y comparar |
| Las curvas de vulnerabilidad se transfieren entre lugares | Las curvas locales rara vez están disponibles | Validar frente a las pérdidas observadas cuando existan |
- Entradas
- conjuntos de datos versionados con procedencia
- Resultados
- distribuciones, nunca cifras únicas
- Código
- publicado con la ficha de modelo y las pruebas
- Reproducción
- mismos datos, código, entorno y semilla
Principios rectores FAIR · GO FAIR y FORCE11W3C PROV · World Wide Web ConsortiumOrientación para un tratamiento coherente de las incertidumbres · IPCCCEOS Analysis Ready Data · Comité sobre Satélites de Observación de la Tierra
04Datos
Lo que consume el método.
Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in el registro de fuentes.
| Datos | Función | Etiqueta |
|---|---|---|
| Evaluation outputs | Score estimation | OBSERVADO |
| Labelled audit samples | Error estimation | OBSERVADO |
| Prediction logs | Calibración | OBSERVADO |
05Proceso
Cómo funciona el proceso.
Process explorer · Process
Statistics for AI evaluation: Catastrophe model pipeline
10 steps·5 etapas
Proceso
Statistics for AI evaluation: Catastrophe model pipeline
Los modelos de catástrofes suelen tener módulos de amenaza, vulnerabilidad, exposición y financiero, y producen tablas de pérdidas, la pérdida anual media, curvas de excedencia, la PML y el TVaR.
01 Amenaza
- 01Catálogo de eventosConjunto de datos · Desarrollador del modeloEl módulo de amenazas contiene un amplio catálogo de eventos simulados que representa una gran variedad de escenarios plausibles.
- 03Módulo de amenazasModelo · Desarrollador del modeloPara cada evento, el módulo de amenazas proporciona la intensidad local de la amenaza que lee el módulo de vulnerabilidad.
02 Exposición y daños
- 02ExposiciónDataset · Incident responderEl módulo de exposición contiene los datos de la cartera, como la información específica de cada ubicación.
- 04Módulo de vulnerabilidadModelo · Desarrollador del modeloEl módulo de vulnerabilidad cuantifica los daños esperados en los elementos expuestos a causa de un evento.
03 Financiero
- 05Módulo financieroModel · Incident responderEl módulo financiero calcula las pérdidas de todos los escenarios de eventos. Las pérdidas desde el primer euro (ground-up), brutas y netas difieren como se muestra a continuación.
- 06Tabla de pérdidas por eventoDataset · Incident responderUna tabla de pérdidas por evento enumera cada evento con su probabilidad de ocurrencia anual y su pérdida para la cartera.
- 07Tabla de pérdidas anualesDataset · Incident responderAlgunos modelos también muestrean años simulados a partir de las pérdidas de los eventos. Este esquema no describe su formato.
04 Métricas
- 08Probabilidad de excedencia curvesModel · Incident responderLa curva de ocurrencia indica la probabilidad de que la mayor pérdida de un año supere un importe. La curva agregada hace lo mismo para la suma de las pérdidas.
- 09AAL, PML y TVaRModel · Incident responderLa pérdida anual media suma la probabilidad de cada evento multiplicada por su pérdida. La PML es un punto de la curva de ocurrencia.
05 Uso de los resultados
- 10Uso de los resultadosDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
Esquema de una norma o un método externos, a partir de sus fuentes públicas. Describe lo que dice el marco, no un registro de ninguna ejecución. No demuestra que Nexus ni ningún socio realice, certifique o apruebe un paso. Una puerta es un paso del método, nunca una aprobación de Nexus.
06Validación
Cómo se verifican los resultados.
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
| Verificación | Cómo se hace |
|---|---|
| Interval reporting | Every metric is reported with its uncertainty |
| Multiple comparisons | Comparisons across many tasks are corrected for multiple testing |
| Sample size planning | Audit samples are sized to detect differences of stated magnitude |
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
07Conexiones
Temas que se basan en este método.
08Custodia responsable
Quién mantiene el método.
Ciencia de sistemas y modelización stewards probability and statistics for the Consortium and reviews how it is applied across platforms.
09Conectado
Adónde lleva esta página en todo el Consorcio.
10Preguntas
Preguntas y respuestas.
What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
¿Cómo se verifican los resultados?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
¿Son reales los valores de esta página?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
¿Dónde más se aplica este método?
La página canónica del método enumera todas las plataformas que lo aplican.
serie ReportsContribuir
Aporte evidencia desde esta página.
serie Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIInteligencia artificial y sistemas autónomosTecnología exponencialEvidencia de Labs
- Correo electrónicoPasarela GW-GCRIEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoDepósito abiertoDeposítelo y envíelo a la comunidadPublique su propio registro en Zenodo con su ORCID iD y luego envíelo a la comunidad de Reports allí. Los curadores lo revisan; el DOI sigue siendo suyo.
- serie ReportsGCRIVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Inteligencia artificial y sistemas autónomos
Aporte un método, un conjunto de datos o una pregunta.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Legal
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.