GCRI · Inteligencia artificial y sistemas autónomos
Evaluación de modelos
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
- 01La preguntaModel evaluation: how the risk develops
- 02En todos los dominiosEvaluation must reflect the domain where a model is used
- 03IndicadoresQué se mide y con qué calidad
- 04FuentesDe dónde proviene la evidencia
- 05DecisionesQuién decide y a qué sirve la evidencia
- 06Cuestiones centralesWhat evaluators ask
- 07MecanismosWhy scores mislead
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
Registro de modelos.
La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.
Registro de modelos
Model evaluation · Model registry · Release gate
Modelos
| M-184 triage assistant | Servicio público | Alto | 19 of 24 suites | Bloqueado |
| M-320 flood nowcast | Ciencia | Medio | 12 de 12 | Publicado |
| M-157 document search | Interno | Bajo | 8 of 8 | Publicado |
| M-563 agent planner | Agéntico | Alto | 12 of 16 | En evaluación |
Ficha del modelo
- Uso previsto
- apoyo al triaje, decide una persona
- Fuera de alcance
- decisiones de elegibilidad
- Límites conocidos
- menor precisión en casos raros
- Propietario
- Propietario del modelo
Registro de incidentes
- D-21INCCita alucinada en el resumen
- D-9MITFundamentación de la recuperación añadida
- D-2INCInyección de instrucciones mediante un archivo cargado
- D-1MITPermiso de herramienta restringido
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- SaludAcoplamientoClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- AguaAcoplamientoHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- AlimentaciónAcoplamientoCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the serie Labs Evidence. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
El modelo, sus supuestos, sus datos y su incertidumbre, en la forma en que un científico o un ingeniero los comprobaría. Las estructuras siguen métodos publicados. Los valores representados son ilustrativos, no hallazgos.
Modelo, ecuaciones y supuestos
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)amenaza, exposición, vulnerabilidad y capacidad de afrontamientoEAL = ∑k pk · Lksobre los eventos k con probabilidad anual pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Supuesto | Por qué se hace | Cómo se prueba |
|---|---|---|
| La amenaza y la exposición son independientes dentro de un evento | Mantiene manejable la integral de pérdidas | Comparar con un ajuste de cópula sobre registros conjuntos |
| Los acoplamientos son lineales cerca del punto de operación | Permite que las perturbaciones se propaguen a través de A | Perturbar más allá del rango lineal y comparar |
| Las curvas de vulnerabilidad se transfieren entre lugares | Las curvas locales rara vez están disponibles | Validar frente a las pérdidas observadas cuando existan |
- Entradas
- conjuntos de datos versionados con procedencia
- Resultados
- distribuciones, nunca cifras únicas
- Código
- publicado con la ficha de modelo y las pruebas
- Reproducción
- mismos datos, código, entorno y semilla
Qué se mide y con qué calidad.
Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.
| Indicador | Unidad | Cadencia | Tipo de fuente | Etiqueta |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | NOTIFICADO |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | DECLARADO |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | NOTIFICADO |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | OBSERVADO |
| Post-deployment incident reports | count by type | mensual | Incident monitoring | NOTIFICADO |
| Error de calibración | expected calibration error | per evaluation | Evaluation on held-out data | OBSERVADO |
De dónde procede la evidencia.
Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.
| Fuente | Lo que aporta | Tipo de licencia |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| Informe internacional sobre seguridad de la IA | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | Abierta, CC BY 4.0 |
Quién decide y a qué sirve la evidencia.
Estudio de Inteligencia artificial y sistemas prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Quién decide | La pregunta | Evidencia a la que sirve esta página |
|---|---|---|
| Desarrolladores | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
Productos que genera este tema
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as cambio de distribución, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with probabilidad y estadística. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using ciencias sociales y del comportamiento methods for rater agreement. Human judgement is costly and can be inconsistent.
Cómo se estudia y lo que los métodos no pueden decir.
- 01Ingeniería de evaluación y garantía de la IACasos de aseguramiento para sistemas de IA · Ejercicios de equipo rojo estructurados · Seguimiento posterior al despliegueAplicado aquí
- 02Probabilidad y estadísticaIncertidumbre de las puntuaciones de referencia · Evaluación de la calibración · Muestreo de auditoríaAplicado aquí
- 03Inteligencia artificial y aprendizaje automáticoAnálisis del cambio de distribución · Ajuste fino para un uso específico · Métodos de interpretabilidadAplicado aquí
- 04Ciencias sociales y del comportamientoEstudios de supervisión humana · Investigación con comunidades afectadas · Estudios de adopción en el lugar de trabajoAplicado aquí
Where this page’s references lead.
Los organismos y documentos con los que se lee esta página. El estado y las ediciones cambian; cada enlace lleva al organismo emisor.
Adónde lleva esta página en todo el Consorcio.
Preguntas y respuestas.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
Aporte evidencia desde esta página.
serie Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- Correo electrónicoPasarela GW-GCRIEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoDepósito abiertoDeposítelo y envíelo a la comunidadPublique su propio registro en Zenodo con su ORCID iD y luego envíelo a la comunidad de Reports allí. Los curadores lo revisan; el DOI sigue siendo suyo.
- serie ReportsGCRIVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Aporte un método, un conjunto de datos o una pregunta.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.