Uncertainty on benchmark scores
Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.
GCRI · هوش مصنوعی و سامانه‌های خودمختار
آمار برای ارزیابی هوش مصنوعی
Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.
01ثبت‌خانه
Statistics for AI evaluation on the record.
Method recordSTEM method
- روشاحتمال و آمار
- Applied inهوش مصنوعی و سامانه‌ها
- داده3 inputs
- Checks3 validation steps
- Canonical pageSTEM Commons
02Application
What probability and statistics does here.
Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected سامانه‌ها. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons.
Calibration assessment
Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.
Audit sampling
Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.
03روش‌ها و شواهد
How Statistics for AI evaluation is modelled, measured and tested.
مدل، مفروضات، داده‌ها و عدم قطعیت آن، به شکلی که دانشمند یا مهندس بررسی می‌کند. ساختارها از روش‌های منتشرشده پیروی می‌کنند. مقادیر ترسیم‌شده تبیینی‌اند، نه یافته.
مدل، معادلات و مفروضات
The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.
ریسک عنصر i
Ri = f(Hi, Ei, Vi, Ci)مخاطره، مواجهه، آسیب‌پذیری و ظرفیت مقابلهزیان سالانهٔ مورد انتظار
EAL = ∑k pk · Lkبر رویدادهای k با احتمال سالانهٔ pkسامانه‌های جفت‌شده
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| فرض | چرا ساخته می‌شود | چگونه آزموده می‌شود |
|---|---|---|
| مخاطره و مواجهه در یک رویداد مستقل‌اند | انتگرال زیان را تحت‌کنترل نگه می‌دارد | مقایسه با برازش مفصل بر سوابق مشترک |
| جفت‌شدگی‌ها نزدیک نقطهٔ کار خطی‌اند | اجازه می‌دهد شوک‌ها از طریق A منتشر شوند | فراتر از دامنهٔ خطی آشفته کنید و مقایسه کنید |
| منحنی‌های آسیب‌پذیری میان مکان‌ها منتقل می‌شوند | منحنی‌های محلی به‌ندرت در دسترس‌اند | اعتبارسنجی در برابر زیان‌های مشاهده‌شده در جاهایی که وجود دارند |
- ورودی‌ها
- مجموعه‌داده‌های نسخه‌دار با خاستگاه
- خروجی‌ها
- توزیع‌ها، هرگز تک‌رقم‌ها
- کد
- منتشرشده با کارت مدل و آزمون‌ها
- بازتولید
- همان داده، کد، محیط و بذر
اصول راهنمای FAIR · GO FAIR و FORCE11W3C PROV · کنسرسیوم وب جهانیGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
04داده
What the method consumes.
Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| داده | نقش | برچسب |
|---|---|---|
| Evaluation outputs | Score estimation | مشاهده‌شده |
| Labelled audit samples | Error estimation | مشاهده‌شده |
| Prediction logs | Calibration | مشاهده‌شده |
05فرایند
نحوهٔ اجرای فرایند.
Process explorer · Process
Statistics for AI evaluation: Catastrophe model pipeline
10 steps·5 مرحله
فرایند
Statistics for AI evaluation: Catastrophe model pipeline
Catastrophe models usually have hazard, vulnerability, exposure and financial modules, and produce loss tables, میانگین زیان سالانه, exceedance curves, PML and TVaR.
01 Hazard
- 01Event catalogueDataset · Model developerThe hazard module holds a large catalogue of simulated events that represents a wide range of plausible scenarios.
- 03Hazard moduleModel · Model developerFor each event the hazard module gives the local hazard intensity that the vulnerability module reads.
02 Exposure and damage
- 02مواجههDataset · Incident responderThe exposure module houses the portfolio data, such as location-specific information.
- 04Vulnerability moduleModel · Model developerThe vulnerability module quantifies the expected damage to the exposures from an event.
03 Financial
- 05Financial moduleModel · Incident responderThe financial module calculates losses from all event scenarios. Ground-up, gross and net losses differ as shown below.
- 06Event loss tableDataset · Incident responderAn event loss table lists each event with its annual occurrence probability and its loss for the portfolio.
- 07Year loss tableDataset · Incident responderSome models also sample simulated years from event losses. This outline does not describe their format.
04 Metrics
- 08احتمال فراگذشت curvesModel · Incident responderThe occurrence curve gives the chance that the largest loss in a year exceeds an amount. The aggregate curve does so for the sum of losses.
- 09AAL, PML and TVaRModel · Incident responderAverage annual loss sums event probability times loss. PML is one point on the occurrence curve.
05 Use of results
- 10Use of resultsDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
Outline of an external standard or method, from its public sources. It describes what the framework says, not a record of any run. It does not show that Nexus or any partner performs, certifies or approves a step. A gate is a step of the method, never a Nexus approval.
06اعتبارسنجی
How results are checked.
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
| بررسی | How it is done |
|---|---|
| Interval reporting | Every metric is reported with its uncertainty |
| Multiple comparisons | Comparisons across many tasks are corrected for multiple testing |
| Sample size planning | Audit samples are sized to detect differences of stated magnitude |
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
07Connections
Topics that rely on this method.
08تولیت
Who maintains the method.
علوم سامانه‌ها و مدل‌سازی stewards probability and statistics for the Consortium and reviews how it is applied across platforms.
09متصل
جایی که این صفحه در سراسر کنسرسیوم به آن می‌رسد.
10پرسش‌ها
پرسش و پاسخ.
What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
How are results checked?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
Are the values on this page real?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Where else is this method applied?
گزارش‌هامشارکت
شواهد را از همین صفحه ارسال کنید.
گزارش‌ها is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIهوش مصنوعی و سامانه‌های خودمختارفناوری نماییشواهد Labs
- ایمیلدرگاه GW-GCRIاز همین صفحه ارسال کنیدشواهد، یک اصلاحیه، یک مورد، یک روش، یک داوری، یک ترجمه یا ورودی نمایه. با برچسب این صفحه می‌رسد تا ویراستار مسئول آن را دریافت کند.
- Zenodoسپردهٔ بازآن را واگذار کنید و به جامعه ارائه دهیدسابقهٔ خود را با شناسهٔ ORCID خود در Zenodo منتشر کنید و سپس آن را در همانجا به جامعهٔ Reports ارسال کنید. گزینشگران آن را داوری می‌کنند؛ DOI از آنِ شما میماند.
- گزارش‌هاGCRIهمهٔ راههای مشارکت را ببینیدانواع مشارکت، نحوهٔ بررسی هر یک، اعتباری که دریافت میکنید، مجوز و آنچه هرگز پذیرفته نمیشود.
هرگز داده شخصی، جزئیات حساس زیرساخت یا چیزی را که حق اشتراکش را ندارید نفرستید. هر مشارکت پیش از استفاده داوری می‌شود؛ ارسال آن حق مؤلفی یا ویرایشی نمی‌دهد و حمایت مالی هرگز یافته‌ای را نمی‌خرد.
هوش مصنوعی و سامانه‌های خودمختار
یک روش، یک مجموعه‌داده یا یک پرسش بیاورید.
اطلاعات و درخواست‌ها امروز باز است. هر درخواست یک شمارهٔ پیگیری می‌گیرد و گام بعدی را مشخص می‌کند؛ درخواست‌های عضویت، پرداخت‌ها، تخصیص رایانش و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت داوری آن‌ها فراهم باشد.
حقوقی
اسناد حقوقی.
نقشه‌ها، داده‌ها و ارقام این سایت برای زمینه و اطلاعات عمومی نشان داده می‌شوند. توصیه، پیش‌بینی یا هشدار نیستند؛ حدود این اطلاعات در سلب مسئولیت‌ها و اعلامیه‌های داده بیان شده است.