GCRI · Yapay Zekâ ve Otonom Sistemler
Model değerlendirmesi
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
- 01SoruModel evaluation: how the risk develops
- 02Alanlar genelindeEvaluation must reflect the domain where a model is used
- 03GöstergelerNeyin ve ne kadar iyi ölçüldüğü
- 04KaynaklarKanıtın nereden geldiği
- 05KararlarKim karar verir ve kanıt neye hizmet eder
- 06Temel sorularWhat evaluators ask
- 07MekanizmalarWhy scores mislead
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
Model kayıt defteri.
Bir ekibin bu konuyu izlemek için kullanacağı ekran: ölçütleri, durumları ve kararları. Adlar örnektir ve değerler açıklayıcıdır.
Model kaydı
Model evaluation · Model registry · Release gate
Modeller
| M-184 triage assistant | Kamu hizmeti | Yüksek | 19 of 24 suites | Engellendi |
| M-320 flood nowcast | Bilim | Orta | 12 içinden 12 | Yayımlandı |
| M-157 document search | Dahili | Düşük | 8 of 8 | Yayımlandı |
| M-563 agent planner | Ajan temelli | Yüksek | 12 of 16 | Değerlendiriliyor |
Model kartı
- Amaçlanan kullanım
- triyaj desteği, karar insanda
- Kapsam dışı
- uygunluk kararları
- Bilinen sınırlar
- nadir durumlarda daha düşük doğruluk
- Sahip
- Model sahibi
Olay günlüğü
- D-21INCÖzette uydurma atıf
- D-9MITGeri getirme temellendirmesi eklendi
- D-2INCYüklenen dosya üzerinden istem enjeksiyonu
- D-1MITAraç izni daraltıldı
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- SağlıkBağlantıClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- SuBağlantıHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- GıdaBağlantıCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the Labs Kanıt serisi. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
Model, varsayımları, verileri ve belirsizliği, bir bilim insanının veya mühendisin kontrol edeceği biçimde. Yapılar yayımlanmış yöntemleri izler. Çizilen değerler bulgu değil, açıklayıcıdır.
Model, denklemler ve varsayımlar
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)tehlike, maruziyet, kırılganlık ve başa çıkma kapasitesiEAL = ∑k pk · Lkyıllık olasılığı pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Varsayım | Neden yapıldığı | Nasıl sınanır |
|---|---|---|
| Bir olay içinde tehlike ve maruziyet bağımsızdır | Kayıp integralini çözülebilir tutar | Ortak kayıtlara uydurulmuş bir kopula ile karşılaştırın |
| Bağlantılar çalışma noktası yakınında doğrusaldır | Şokların A üzerinden yayılmasına izin verir | Doğrusal aralığın ötesine itin ve karşılaştırın |
| Kırılganlık eğrileri yerler arasında aktarılabilir | Yerel eğriler nadiren mevcuttur | Mevcut olduğunda gözlemlenen kayıplarla doğrulayın |
- Girdiler
- kaynağı belgelenmiş, sürümlü veri setleri
- Çıktılar
- dağılımlar, asla tek sayılar değil
- Kod
- model kartı ve testlerle birlikte yayımlanır
- Yeniden üretim
- aynı veri, kod, ortam ve tohum değeri
Neyin ve ne kadar iyi ölçüldüğü.
Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.
| Gösterge | Birim | Sıklık | Kaynak türü | Etiket |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | BİLDİRİLMİŞ |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | BEYAN EDİLDİ |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | BİLDİRİLMİŞ |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | GÖZLENEN |
| Post-deployment incident reports | count by type | aylık | Incident monitoring | BİLDİRİLMİŞ |
| Kalibrasyon hatası | expected calibration error | per evaluation | Evaluation on held-out data | GÖZLENEN |
Kanıtın nereden geldiği.
Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.
| Kaynak | Sağladıkları | Lisans sınıfı |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| Uluslararası Yapay Zekâ Güvenliği Raporu | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | Açık, CC BY 4.0 |
Kim karar verir ve kanıt neye hizmet eder.
Yapay Zekâ ve Otonom Sistem prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Kim karar verir | Soru | Bu sayfanın hizmet ettiği kanıt |
|---|---|---|
| Geliştiriciler | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
Bu konunun ürettiği çıktılar
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as dağılım kayması, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with olasılık ve istatistiği. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using sosyal ve davranış bilimi methods for rater agreement. Human judgement is costly and can be inconsistent.
Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.
- 01Yapay zekâ değerlendirme ve güvence mühendisliğiYapay zekâ sistemleri için güvence gerekçeleri · Yapılandırılmış kırmızı takım çalışması · Kullanıma alma sonrası izlemeBurada uygulanır
- 02Olasılık ve istatistikKıyaslama puanlarındaki belirsizlik · Kalibrasyon değerlendirmesi · Denetim örneklemesiBurada uygulanır
- 03Yapay zekâ ve makine öğrenmesiDağılım kayması analizi · Belirli bir kullanım için ince ayar · Yorumlanabilirlik yöntemleriBurada uygulanır
- 04Sosyal ve davranış bilimleriİnsan gözetimi çalışmaları · Etkilenen topluluk araştırması · İşyerinde benimseme çalışmalarıBurada uygulanır
Where this page’s references lead.
Bu sayfanın karşılaştırıldığı kuruluşlar ve belgeler. Durumlar ve sürümler değişir; her bağlantı yayımlayan kuruluşa gider.
Bu sayfanın Konsorsiyum genelinde nereye götürdüğü.
Sorular ve yanıtlar.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
Bu sayfadan kanıt katkısında bulunun.
Raporlar is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-postaGW-GCRI geçidiBu sayfadan gönderinKanıt, bir düzeltme, bir vaka, bir yöntem, bir inceleme, bir çeviri veya profil girdisi. Bu sayfayla etiketlenmiş olarak gelir; böylece sayfanın sahibi editör onu alır.
- ZenodoAçık depoDepolayın ve topluluğa gönderinKendi kaydınızı ORCID iD'nizle Zenodo'da yayımlayın, ardından orada Reports topluluğuna gönderin. Küratörler inceler; DOI sizde kalır.
- RaporlarGCRIKatkıda bulunmanın tüm yollarını görünKatkı türleri, her birinin nasıl incelendiği, alacağınız atıf, lisans ve asla kabul edilmeyenler.
Hiçbir zaman kişisel veri, hassas altyapı ayrıntısı veya paylaşma hakkınız olmayan hiçbir şey göndermeyin. Bir katkı kullanılmadan önce incelenir. Katkıyı göndermek yazarlık veya editoryal hak sağlamaz ve sponsorluk hiçbir zaman bir bulgu satın almaz.
Bir yöntem, bir veri seti ya da bir soru getirin.
Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.
Hukuki belgeler.
Bu sitedeki haritalar, veriler ve şekiller bağlam ve genel bilgi amacıyla gösterilir. Tavsiye, tahmin ya da uyarı değildir; bilgilerin sınırları Sorumluluk Reddi ve Veri Bildirimleri'nde açıklanmıştır.