Uncertainty on benchmark scores
Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.
GCRI · الذكاء الاصطناعي والنظم المستقلة
الإحصاء في تقييم الذكاء الاصطناعي
Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.
01سجّل
Statistics for AI evaluation on the record.
سجل المنهجمنهج STEM
- المنهجالاحتمالات والإحصاء
- الراعيعلوم النظم والنمذجة
- مُطبَّق فياستوديو الذكاء الاصطناعي و النظم
- البيانات3 inputs
- الفحوص3 خطوات تحقق
- الصفحة المرجعيةSTEM Commons
02الطلب
What probability and statistics does here.
Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected النظم. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons.
Calibration assessment
Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.
Audit sampling
Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.
03الأساليب والأدلة
How Statistics for AI evaluation is modelled, measured and tested.
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
النموذج والمعادلات والافتراضات
The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.
مخاطر العنصر i
Ri = f(Hi, Ei, Vi, Ci)الخطر والتعرّض وقابلية التأثر والقدرة على المواجهةالخسارة السنوية المتوقعة
EAL = ∑k pk · Lkعلى الأحداث k ذات الاحتمال السنوي pkالنظم المقترنة
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| افتراض | لماذا أُعدّ | كيف يُختبر |
|---|---|---|
| الخطر والتعرّض مستقلان داخل الحدث الواحد | يُبقي تكامل الخسارة قابلًا للحساب | قارن بمطابقة دالة ربط (copula) على السجلات المشتركة |
| تكون الروابط خطية قرب نقطة التشغيل | يسمح بانتشار الصدمات عبر A | ادفع خارج النطاق الخطي وقارن |
| منحنيات الهشاشة قابلة للنقل بين الأماكن | نادرًا ما تتوافر المنحنيات المحلية | التحقق مقابل الخسائر المرصودة حيثما وُجدت |
- المدخلات
- مجموعات بيانات ذات إصدارات ومزودة ببيان المصدر
- المخرجات
- توزيعات، لا أرقام منفردة أبدا
- الرمز
- يُصدر مع بطاقة النموذج والاختبارات
- إعادة الإنتاج
- البيانات نفسها والشيفرة نفسها والبيئة نفسها والبذرة نفسها
مبادئ FAIR التوجيهية · GO FAIR وFORCE11W3C PROV · اتحاد الشبكة العالميةإرشادات بشأن المعالجة المتسقة لأوجه عدم اليقين · الهيئة الحكومية الدولية المعنية بتغير المناخبيانات CEOS الجاهزة للتحليل · لجنة سواتل رصد الأرض
04البيانات
ما يستهلكه المنهج.
Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in سجل المصادر.
| البيانات | الدور | الوسم |
|---|---|---|
| Evaluation outputs | Score estimation | مرصود |
| Labelled audit samples | Error estimation | مرصود |
| Prediction logs | المعايرة | مرصود |
05العملية
كيف تُسيَّر العملية.
Process explorer · Process
Statistics for AI evaluation: Catastrophe model pipeline
10 steps·5 مراحل
العملية
Statistics for AI evaluation: Catastrophe model pipeline
تضم نماذج الكوارث عادةً وحدات للخطر وقابلية التأثر والتعرّض والجانب المالي، وتُنتج جداول الخسائر و متوسط الخسارة السنويةومنحنيات التجاوز وPML وTVaR.
01 الخطر
- 01فهرس الأحداثمجموعة البيانات · مطوّر النموذجتضم وحدة الخطر فهرسًا كبيرًا من الأحداث المحاكاة يمثل طيفًا واسعًا من السيناريوهات المعقولة.
- 03وحدة الخطرالنموذج · مطوّر النموذجتعطي وحدة الخطر لكل حدث شدة الخطر المحلية التي تقرؤها وحدة قابلية التأثر.
02 التعرّض والضرر
- 02التعرّضDataset · Incident responderتضم وحدة التعرّض بيانات المحفظة، مثل المعلومات الخاصة بالمواقع.
- 04وحدة قابلية التأثرالنموذج · مطوّر النموذجتقيس وحدة قابلية التأثر كميًا الضرر المتوقع للأصول المعرّضة جراء حدث ما.
03 الجانب المالي
- 05الوحدة الماليةModel · Incident responderتحسب الوحدة المالية الخسائر من جميع سيناريوهات الأحداث. وتختلف الخسائر الأساسية والإجمالية والصافية كما هو مبيّن أدناه.
- 06جدول خسائر الأحداثDataset · Incident responderيُدرج جدول خسائر الأحداث كل حدث مع احتمال وقوعه السنوي وخسارته بالنسبة إلى المحفظة.
- 07جدول الخسائر السنويةDataset · Incident responderتأخذ بعض النماذج أيضًا عيّنات من سنوات محاكاة انطلاقًا من خسائر الأحداث. ولا يصف هذا المخطط صيغتها.
04 المقاييس
- 08احتمال التجاوز curvesModel · Incident responderيعطي منحنى الوقوع احتمال أن تتجاوز أكبر خسارة في سنة ما مبلغًا معيّنًا. ويعطي المنحنى الإجمالي الاحتمال نفسه لمجموع الخسائر.
- 09AAL وPML وTVaRModel · Incident responderمتوسط الخسارة السنوية هو مجموع احتمال الحدث مضروبًا في الخسارة. والحد الأقصى المحتمل للخسارة (PML) نقطة واحدة على منحنى الوقوع.
05 استخدام النتائج
- 10استخدام النتائجDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
مخطط لمعيار أو منهج خارجي، من مصادره العامة. ويصف ما يقوله الإطار، وليس سجلًا لأي تشغيل. ولا يبيّن أن Nexus أو أي شريك ينفّذ خطوة أو يعتمدها أو يوافق عليها. والبوابة خطوة من خطوات المنهج، وليست أبدًا موافقة من Nexus.
06التحقق
كيف تُفحص النتائج.
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
| التحقق | كيف يُنفَّذ |
|---|---|
| Interval reporting | Every metric is reported with its uncertainty |
| Multiple comparisons | Comparisons across many tasks are corrected for multiple testing |
| Sample size planning | Audit samples are sized to detect differences of stated magnitude |
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
07الروابط
الموضوعات التي تعتمد على هذا المنهج.
08الرعاية
من يحتفظ بالمنهج.
علوم النظم والنمذجة stewards probability and statistics for the Consortium and reviews how it is applied across platforms.
09متصل
إلى أين تقود هذه الصفحة على نطاق الاتحاد.
10أسئلة
أسئلة وأجوبة.
What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
كيف تُفحص النتائج؟
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
هل القيم المعروضة في هذه الصفحة حقيقية؟
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
أين يُطبَّق هذا المنهج أيضًا؟
تجمع صفحة المنهج المرجعية كل منصة تطبّقه.
التقاريرساهم
ساهم بأدلة من هذه الصفحة.
التقارير is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIالذكاء الاصطناعي والنظم المستقلةالتقنيات الأسيةأدلة Labs
- البريد الإلكترونيالبوابة GW-GCRIأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- التقاريرGCRIاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
الذكاء الاصطناعي والنظم المستقلة
قدّم منهجية أو مجموعة بيانات أو سؤالا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الشؤون القانونية
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.