GCRI · Künstliche Intelligenz und autonome Systeme
Modellevaluierung
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
- 01Die FrageModel evaluation: how the risk develops
- 02DomänenübergreifendEvaluation must reflect the domain where a model is used
- 03IndikatorenWas gemessen wird und wie gut
- 04QuellenWoher die Evidenz stammt
- 05EntscheidungenWer entscheidet und wozu die Evidenz dient
- 06KernfragenWhat evaluators ask
- 07MechanismenWhy scores mislead
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
Modellregister.
Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Modellregister
Model evaluation · Model registry · Release gate
Modelle
| M-184 triage assistant | Öffentlicher Dienst | Hoch | 19 of 24 suites | Blockiert |
| M-320 flood nowcast | Wissenschaft | Mittel | 12 von 12 | Freigegeben |
| M-157 document search | Intern | Niedrig | 8 of 8 | Freigegeben |
| M-563 agent planner | Agentisch | Hoch | 12 of 16 | Wird evaluiert |
Modellkarte
- Verwendungszweck
- Triage-Unterstützung, Mensch entscheidet
- Außerhalb des Umfangs
- Förderfähigkeitsentscheidungen
- Bekannte Grenzen
- geringere Genauigkeit bei seltenen Fällen
- Inhaber
- Modelleigner
Vorfallprotokoll
- D-21INCErfundenes Zitat in der Zusammenfassung
- D-9MITRetrieval-Verankerung ergänzt
- D-2INCPrompt-Injection über hochgeladene Datei
- D-1MITWerkzeugberechtigung eingeschränkt
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- GesundheitKopplungClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- WasserKopplungHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- ErnährungKopplungCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the Reihe Labs Evidence. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.
Modell, Gleichungen und Annahmen
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und BewältigungskapazitätEAL = ∑k pk · Lküber Ereignisse k mit jährlicher Wahrscheinlichkeit pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Annahme | Warum es entsteht | Wie es geprüft wird |
|---|---|---|
| Gefahr und Exposition sind innerhalb eines Ereignisses unabhängig | Hält das Schadensintegral berechenbar | Mit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen |
| Kopplungen sind nahe dem Arbeitspunkt linear | Lässt Schocks sich über A ausbreiten | Über den linearen Bereich hinaus stören und vergleichen |
| Vulnerabilitätskurven lassen sich zwischen Orten übertragen | Lokale Kurven sind selten verfügbar | Anhand beobachteter Schäden validieren, wo es sie gibt |
- Eingaben
- versionierte Datensätze mit Herkunftsnachweis
- Ergebnisse
- Verteilungen, nie einzelne Zahlen
- Code
- mit Modellkarte und Tests veröffentlicht
- Reproduktion
- gleiche Daten, Code, Umgebung und Seed
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | BERICHTET |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | DEKLARIERT |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | BERICHTET |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | BEOBACHTET |
| Post-deployment incident reports | count by type | monatlich | Incident monitoring | BERICHTET |
| Kalibrierungsfehler | expected calibration error | per evaluation | Evaluation on held-out data | BEOBACHTET |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| Internationaler Bericht zur KI-Sicherheit | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | Offen, CC BY 4.0 |
Wer entscheidet und wozu die Evidenz dient.
Studio Künstliche Intelligenz und autonome System prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Entwickler | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
Ergebnisse, die dieses Thema hervorbringt
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as Verteilungsverschiebung, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with Wahrscheinlichkeit und Statistik. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using Sozial- und Verhaltenswissenschaften methods for rater agreement. Human judgement is costly and can be inconsistent.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Engineering für KI-Evaluierung und -AssuranceAssurance Cases für KI-Systeme · Strukturiertes Red Teaming · Überwachung nach dem EinsatzHier angewandt
- 02Wahrscheinlichkeit und StatistikUnsicherheit von Benchmark-Werten · Bewertung der Kalibrierung · PrüfstichprobenHier angewandt
- 03Künstliche Intelligenz und maschinelles LernenAnalyse von Verteilungsverschiebungen · Feinabstimmung für einen bestimmten Einsatz · InterpretierbarkeitsmethodenHier angewandt
- 04Sozial- und VerhaltenswissenschaftenStudien zur menschlichen Aufsicht · Forschung mit betroffenen Gemeinschaften · Studien zur Einführung am ArbeitsplatzHier angewandt
Where this page’s references lead.
Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.
Wohin diese Seite im Konsortium führt.
Fragen und Antworten.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
Evidenz von dieser Seite aus beitragen.
Berichte is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOffene HinterlegungHinterlegen und bei der Community einreichenVeröffentlichen Sie Ihren eigenen Eintrag auf Zenodo mit Ihrer ORCID iD und reichen Sie ihn dort bei der Reports-Community ein. Kuratorinnen und Kuratoren prüfen ihn; der DOI bleibt bei Ihnen.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.