GCRI · Intelligence artificielle et systèmes autonomes
Évaluation des modèles
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
- 01La questionModel evaluation: how the risk develops
- 02À travers les domainesEvaluation must reflect the domain where a model is used
- 03IndicateursCe qui est mesuré, et avec quelle qualité
- 04SourcesD'où viennent les données probantes
- 05DécisionsQui décide, et à quoi servent les données probantes
- 06Questions essentiellesWhat evaluators ask
- 07MécanismesWhy scores mislead
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
Registre des modèles.
L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Registre des modèles
Model evaluation · Model registry · Release gate
Modèles
| M-184 triage assistant | Service public | Élevé | 19 of 24 suites | Bloqué |
| M-320 flood nowcast | Science | Moyen | 12 sur 12 | Publié |
| M-157 document search | Interne | Faible | 8 of 8 | Publié |
| M-563 agent planner | Agentique | Élevé | 12 of 16 | En évaluation |
Fiche de modèle
- Utilisation prévue
- aide au tri, décision humaine
- Hors périmètre
- décisions d'éligibilité
- Limites connues
- moindre précision sur les cas rares
- Propriétaire
- Propriétaire du modèle
Journal des incidents
- D-21INCCitation hallucinée dans le résumé
- D-9MITAncrage de la récupération ajouté
- D-2INCInjection de prompt via un fichier téléversé
- D-1MITAutorisation d'outil restreinte
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- SantéCouplageClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- EauCouplageHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- AlimentationCouplageCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the série Labs Evidence. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.
Modèle, équations et hypothèses
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire faceEAL = ∑k pk · Lksur les événements k de probabilité annuelle pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Hypothèse | Pourquoi il est réalisé | Comment il est testé |
|---|---|---|
| Aléa et exposition sont indépendants au sein d'un événement | Garde l'intégrale des pertes calculable | Comparer avec un ajustement de copule sur des relevés conjoints |
| Les couplages sont linéaires près du point de fonctionnement | Laisse les chocs se propager à travers A | Perturber au-delà de la plage linéaire et comparer |
| Les courbes de vulnérabilité se transposent d'un lieu à l'autre | Les courbes locales sont rarement disponibles | Valider par rapport aux pertes observées lorsqu'elles existent |
- Entrées
- jeux de données versionnés avec provenance
- Productions
- des distributions, jamais des nombres isolés
- Code
- publié avec la fiche de modèle et les tests
- Reproduction
- mêmes données, code, environnement et graine
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | DÉCLARÉ |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | DÉCLARÉ |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | DÉCLARÉ |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | OBSERVÉ |
| Post-deployment incident reports | count by type | mensuel | Incident monitoring | DÉCLARÉ |
| Erreur d'étalonnage | expected calibration error | per evaluation | Evaluation on held-out data | OBSERVÉ |
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| Rapport international sur la sécurité de l'IA | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | Ouvert, CC BY 4.0 |
Qui décide, et à quoi servent les données probantes.
Studio Intelligence artificielle et systèmes prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Développeurs | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
Résultats que produit ce thème
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as glissement de distribution, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with les probabilités et la statistique. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using sciences sociales et comportementales methods for rater agreement. Human judgement is costly and can be inconsistent.
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Ingénierie de l'évaluation et de l'assurance de l'IADossiers d'assurance pour les systèmes d'IA · Tests adversariaux structurés · Surveillance après déploiementAppliqué ici
- 02Probabilités et statistiquesIncertitude sur les scores de référence · Évaluation de l'étalonnage · Échantillonnage d'auditAppliqué ici
- 03Intelligence artificielle et apprentissage automatiqueAnalyse des glissements de distribution · Ajustement fin pour un usage spécifique · Méthodes d'interprétabilitéAppliqué ici
- 04Sciences sociales et comportementalesÉtudes sur la supervision humaine · Recherche auprès des communautés touchées · Études sur l'adoption au travailAppliqué ici
Where this page’s references lead.
Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.
Où mène cette page à travers le Consortium.
Questions et réponses.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
Apportez des éléments de preuve depuis cette page.
Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoDépôt ouvertLe déposer et le soumettre à la communautéPubliez votre propre fiche sur Zenodo avec votre identifiant ORCID, puis soumettez-la à la communauté Reports qui s'y trouve. Des curateurs l'examinent ; le DOI reste le vôtre.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.