GCRI · الذكاء الاصطناعي والنظم المستقلة
تقييم النماذج
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
سجل النماذج.
الشاشة التي قد يستخدمها فريق لمتابعة هذا الموضوع: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.
سجل النماذج
Model evaluation · Model registry · Release gate
النماذج
| M-184 triage assistant | خدمة عامة | مرتفع | 19 of 24 suites | معطّل |
| M-320 flood nowcast | العلم | متوسط | 12 من 12 | مُصدَر |
| M-157 document search | داخلي | منخفض | 8 of 8 | مُصدَر |
| M-563 agent planner | وكيلي | مرتفع | 12 of 16 | قيد التقييم |
بطاقة النموذج
- الاستخدام المقصود
- دعم الفرز، والإنسان يقرر
- خارج النطاق
- قرارات الأهلية
- الحدود المعروفة
- دقة أقل في الحالات النادرة
- المالك
- مالك النموذج
سجل الحوادث
- D-21INCاستشهاد مُختلَق في الملخص
- D-9MITإضافة الإسناد إلى المصادر المسترجَعة
- D-2INCحقن الأوامر عبر ملف مرفوع
- D-1MITتضييق أذونات الأداة
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- الصحةالترابطClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- المياهالترابطHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- الغذاءالترابطCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the سلسلة أدلة Labs. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
النموذج والمعادلات والافتراضات
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)الخطر والتعرّض وقابلية التأثر والقدرة على المواجهةEAL = ∑k pk · Lkعلى الأحداث k ذات الاحتمال السنوي pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| افتراض | لماذا أُعدّ | كيف يُختبر |
|---|---|---|
| الخطر والتعرّض مستقلان داخل الحدث الواحد | يُبقي تكامل الخسارة قابلًا للحساب | قارن بمطابقة دالة ربط (copula) على السجلات المشتركة |
| تكون الروابط خطية قرب نقطة التشغيل | يسمح بانتشار الصدمات عبر A | ادفع خارج النطاق الخطي وقارن |
| منحنيات الهشاشة قابلة للنقل بين الأماكن | نادرًا ما تتوافر المنحنيات المحلية | التحقق مقابل الخسائر المرصودة حيثما وُجدت |
- المدخلات
- مجموعات بيانات ذات إصدارات ومزودة ببيان المصدر
- المخرجات
- توزيعات، لا أرقام منفردة أبدا
- الرمز
- يُصدر مع بطاقة النموذج والاختبارات
- إعادة الإنتاج
- البيانات نفسها والشيفرة نفسها والبيئة نفسها والبذرة نفسها
ما الذي يُقاس، ومدى جودة قياسه.
يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.
| المؤشر | الوحدة | وتيرة الإصدار | نوع المصدر | الوسم |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | مُبلَّغ عنه |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | مُعلَن |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | مُبلَّغ عنه |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | مرصود |
| Post-deployment incident reports | count by type | شهري | Incident monitoring | مُبلَّغ عنه |
| خطأ المعايرة | expected calibration error | per evaluation | Evaluation on held-out data | مرصود |
من أين تأتي الأدلة.
مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.
| المصدر | ما يقدّمه | فئة الترخيص |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| التقرير الدولي لسلامة الذكاء الاصطناعي | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | مفتوح، CC BY 4.0 |
من يقرر، وما الذي تخدمه الأدلة.
استوديو الذكاء الاصطناعي و النظم prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| من يقرر | السؤال | الأدلة التي تخدمها هذه الصفحة |
|---|---|---|
| المطورون | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
المخرجات التي يُنتجها هذا الموضوع
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as انزياح التوزيع, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with الاحتمالات والإحصاء. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using العلوم الاجتماعية والسلوكية methods for rater agreement. Human judgement is costly and can be inconsistent.
كيف يُدرس، وما لا تستطيع المناهج قوله.
- 01هندسة تقييم الذكاء الاصطناعي وضمانهحالات الضمان لنظم الذكاء الاصطناعي · الاختبار العدائي المنظم · الرصد بعد النشرمُطبَّق هنا
- 02الاحتمالات والإحصاءعدم اليقين في درجات الاختبارات المعيارية · تقييم المعايرة · أخذ العينات للتدقيقمُطبَّق هنا
- 03الذكاء الاصطناعي وتعلم الآلةتحليل تحول التوزيع · الضبط الدقيق لاستخدام محدد · أساليب قابلية التفسيرمُطبَّق هنا
- 04العلوم الاجتماعية والسلوكيةدراسات الرقابة البشرية · بحوث المجتمعات المتأثرة · دراسات الاعتماد في أماكن العملمُطبَّق هنا
Where this page’s references lead.
الهيئات والوثائق التي تُقرأ هذه الصفحة في ضوئها. وتتغير الحالات والإصدارات؛ ويقود كل رابط إلى الهيئة المُصدِرة.
إلى أين تقود هذه الصفحة على نطاق الاتحاد.
أسئلة وأجوبة.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
ساهم بأدلة من هذه الصفحة.
التقارير is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- البريد الإلكترونيالبوابة GW-GCRIأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- التقاريرGCRIاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
قدّم منهجية أو مجموعة بيانات أو سؤالا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.