GCRI · زیرەکی دەستکرد و سیستەمە خۆسەرەکان
هەڵسەنگاندنی مۆدێل
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
- 01The questionModel evaluation: how the risk develops
- 02لە ناو بوارەکانEvaluation must reflect the domain where a model is used
- 03نیشاندەرەکانWhat is measured, and how well
- 04سەرچاوەکانWhere the evidence comes from
- 05بڕیارەکانWho decides, and what the evidence serves
- 06Core questionsWhat evaluators ask
- 07MechanismsWhy scores mislead
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
تۆماری مۆدێلەکان.
The screen a team would use to follow this subject: its measures, states and decisions. Names are examples and values are illustrative.
تۆماری مۆدێلەکان
Model evaluation · Model registry · Release gate
مۆدێلەکان
| M-184 triage assistant | خزمەتگوزاریی گشتی | بەرز | 19 of 24 suites | بەربەستکراو |
| M-320 flood nowcast | زانست | ناوەند | 12 of 12 | بڵاوکراوەتەوە |
| M-157 document search | ناوخۆیی | کەم | 8 of 8 | بڵاوکراوەتەوە |
| M-563 agent planner | ئەیجێنتی | بەرز | 12 of 16 | لە هەڵسەنگاندندایە |
کارتی مۆدێل
- مەبەستی بەکارهێنان
- پشتگیریی هەڵبژاردنی کەیس، مرۆڤ بڕیار دەدات
- دەرەوەی سنوور
- بڕیاری شیاوی
- سنووردارییە ناسراوەکان
- وردیی کەمتر لە حاڵەتە دەگمەنەکاندا
- خاوەن
- خاوەنی مۆدێل
تۆماری ڕووداو
- D-21INCسەرچاوەی خەیاڵی لە پوختەدا
- D-9MITبناغەی گەڕانەوە زیاد کرا
- D-2INCدەرزیلێدانی فەرمان لە ڕێگەی فایلی بارکراوەوە
- D-1MITمۆڵەتی ئامراز تەسک کرایەوە
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- تەندروستیهاوبەستیClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- ئاوهاوبەستیHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- خۆراکهاوبەستیCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the زنجیرەی Labs Evidence. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
مۆدێلەکە، گریمانەکانی، داتاکانی و نادڵنیاییەکەی، بەو شێوەیەی زانا یان ئەندازیارێک دەیپشکنێت. پێکهاتەکان ڕێگا بڵاوکراوەکان دەگرنەبەر. بەهاکانی کێشراو نموونەییە، نەک دۆزینەوە.
مۆدێل، هاوکێشەکان و گریمانەکان
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)مەترسیدەر، ڕووبەڕووبوون، لاوازی و توانای مامەڵەکردنEAL = ∑k pk · Lkبەسەر ڕووداوەکانی k بە ئەگەری ساڵانەی pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| گریمانە | بۆچی دروست دەکرێت | چۆن تاقی دەکرێتەوە |
|---|---|---|
| مەترسیدەر و ڕووبەڕووبوون لە ناو پێشهاتێکدا سەربەخۆن | ئینتێگراڵی زیان بە ئاسانی دەهێڵێتەوە | بەراورد بکە لەگەڵ گونجاندنی کۆپیولا لەسەر تۆمارە هاوبەشەکان |
| هاوبەستییەکان لە نزیک خاڵی کارکردن هێڵین | ڕێگە دەدات شۆکەکان بڵاو ببنەوە لە A | لە دەرەوەی مەودای هێڵیی شڵەژێنە و بەراورد بکە |
| چەمکەکانی لاوازی لە شوێنێکەوە بۆ شوێنێکی تر دەگوازرێنەوە | چەمکی ناوخۆیی بە دەگمەن بەردەستە | لەگەڵ زیانە چاودێریکراوەکان پشتڕاستی بکەرەوە کە هەن |
- تێکردنەکان
- کۆمەڵە داتای وەشانکراو لەگەڵ ڕەسەنایەتی
- دەرچووەکان
- دابەشبوون، نەک یەک ژمارە
- کۆد
- بڵاوکراوەتەوە لەگەڵ کارتی مۆدێل و تاقیکردنەوەکان
- بەرهەمهێنانەوە
- هەمان داتا، کۆد، ژینگە و تۆو
What is measured, and how well.
Each indicator carries its unit, its cadence, the kind of source behind it and the evidence label a value would carry. No values are shown: a programme supplies them under its own authority.
| Indicator | Unit | Cadence | Source type | ناونیشان |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | REPORTED |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | DECLARED |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | REPORTED |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | چاودێریکراو |
| Post-deployment incident reports | count by type | monthly | Incident monitoring | REPORTED |
| Calibration error | expected calibration error | per evaluation | Evaluation on held-out data | چاودێریکراو |
Where the evidence comes from.
Named public datasets and institutional records, each with its licence class. Sources by agreement are used only under their terms and never republished.
| سەرچاوە | What it gives | Licence class |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| International AI Safety Report | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | Open, CC BY 4.0 |
Who decides, and what the evidence serves.
زیرەکی دەستکرد و سیستەم prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| کێ بڕیار دەدات | The question | Evidence this page serves |
|---|---|---|
| گەشەپێدەران | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
Outputs this topic produces
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as گۆڕانی دابەشبوون, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with ئەگەر و ئامار. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using زانستی کۆمەڵایەتی و هەڵسوکەوتی methods for rater agreement. Human judgement is costly and can be inconsistent.
How it is studied, and what the methods cannot say.
- 01ئەندازیاری هەڵسەنگاندن و دڵنیایی لە زیرەکی دەستکردAssurance cases for AI systems · Structured red teaming · Post-deployment monitoringApplied here
- 02ئەگەر و ئامارUncertainty on benchmark scores · Calibration assessment · Audit samplingApplied here
- 03زیرەکی دەستکرد و فێربوونی ماشێنDistribution shift analysis · Fine-tuning for a specific use · Interpretability methodsApplied here
- 04زانستی کۆمەڵایەتی و ڕەفتاریHuman oversight studies · Affected community research · Workplace adoption studiesApplied here
Where this page’s references lead.
ئەو لەش و بەڵگەنامانەی ئەم لاپەڕەیەیان لەگەڵ دەخوێنرێتەوە. دۆخ و وەشانەکان دەگۆڕێن؛ هەر بەستەرێک دەچێتە لای لەشی دەرکەر.
ئەو شوێنانەی ئەم لاپەڕەیە لە ناو کۆنسۆرتیۆم بۆیان دەبات.
پرسیار و وەڵام.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
لەم لاپەڕەیەوە بەڵگە پێشکەش بکە.
Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- ئیمەیڵدەروازەی GW-GCRIلەم لاپەڕەیەوە بینێرەبەڵگە، ڕاستکردنەوە، بابەت، ڕێگا، پێداچوونەوە، وەرگێڕان یان تێکردنی پڕۆفایل. بە نیشانەی ئەم لاپەڕەیە دەگات، بۆ ئەوەی دەستکاریکەری خاوەنەکەی وەریبگرێت.
- Zenodoتەکیەی کراوەدایبنێ و بیدە بە کۆمەڵگاتۆماری خۆت لە Zenodo بە ORCID iD ی خۆت بڵاو بکەرەوە، پاشان لەوێ بیدە بە کۆمەڵگای Reports. سەرپەرشتیارەکان پێداچوونەوەی بۆ دەکەن؛ DOI هەر هی تۆیە.
- ReportsGCRIهەموو ڕێگاکانی بەشداری ببینەجۆرەکانی بەشداری، هەریەکە چۆن پێداچوونەوەی بۆ دەکرێت، چ ناوبردنێک وەردەگریت، مۆڵەتەکە و ئەوەی هەرگیز وەرناگیرێت.
هەرگیز داتای کەسی، وردەکاریی هەستیاری ژێرخان یان هیچ شتێک مەنێرە کە مافی بڵاوکردنەوەت نییە. بەشدارییەک پێش بەکارهێنان پێداچوونەوەی بۆ دەکرێت؛ ناردنی ماف نابەخشێت بە نووسەرایەتی یان بەڕێوەبردنی ڕاگەیاندن، و پاڵپشتی دارایی هەرگیز دۆزینەوەیەک ناکڕێت.
ڕێگایەک، کۆمەڵە داتایەک یان پرسیارێک بهێنە.
زانیاری و پرسیار ئەمڕۆ کراوەن. پرسیارێک ژمارەی ئاماژەی پێدەدرێت و هەنگاوی دواتر دیاری دەکات؛ داواکاری، پارەدان، تەرخانکردنی کۆمپیوتەر و تۆمارکردن تەنیا کاتێک دەکرێنەوە کە تیم، مەرج و توانای پێداچوونەوەیان هەبێت.
بەڵگەنامە یاساییەکان.
نەخشە، داتا و وێنەکانی ئەم ماڵپەڕە بۆ ناوەڕۆک و زانیاریی گشتی پیشان دراون. ئامۆژگاری، پێشبینی یان ئاگادارکردنەوە نین؛ سنوورەکانی زانیارییەکە لە ڕەتکردنەوەی بەرپرسیارێتی و ئاگاداریی داتادا دەستنیشان کراون.