Skip to content

GCRI · Kecerdasan Buatan dan Sistem Otonom

Statistik untuk evaluasi AI

Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.

Ajukan pertanyaan Back to STEM foundation of Artificial Intelligence and Autonomous Systems
01Daftar

Statistics for AI evaluation on the record.

Catatan metodeMetode STEM
  1. MetodeProbabilitas dan statistika
  3. Diterapkan diStudio Kecerdasan Buatan dan Sistem
  6. Halaman kanonisSTEM Commons
02Permohonan

What probability and statistics does here.

Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected sistem. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons.

Uncertainty on benchmark scores

Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.

Calibration assessment

Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.

Audit sampling

Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.

03Metode dan bukti

How Statistics for AI evaluation is modelled, measured and tested.

Model, asumsi, data, dan ketidakpastiannya, dalam bentuk yang akan diperiksa ilmuwan atau insinyur. Strukturnya mengikuti metode yang dipublikasikan. Nilai yang digambar bersifat ilustratif, bukan temuan.

Model, persamaan, dan asumsi

The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.

Risiko elemen iRi = f(Hi, Ei, Vi, Ci)bahaya, keterpaparan, kerentanan, dan kapasitas penanggulangan
Kerugian tahunan yang diharapkanEAL = ∑k pk · Lkatas peristiwa k dengan probabilitas tahunan pk
Sistem terhubungxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AsumsiMengapa ini dibuatBagaimana ini diuji
Bahaya dan eksposur bersifat independen dalam satu peristiwaMenjaga integral kerugian tetap dapat dihitungBandingkan dengan pencocokan kopula pada catatan gabungan
Keterkaitan bersifat linear di dekat titik operasiMembiarkan guncangan merambat melalui AUji di luar rentang linear lalu bandingkan
Kurva kerentanan dapat dipindahkan antartempatKurva lokal jarang tersediaValidasi terhadap kerugian teramati jika tersedia
Masukan
dataset berversi dengan asal-usul yang tercatat
Keluaran
distribusi, bukan angka tunggal
Kode
dirilis bersama kartu model dan pengujiannya
Reproduksi
data, kode, lingkungan, dan seed yang sama
Formulasi risiko standar dan ruang keadaan; asumsi yang tercantum lazim bagi metode tersebut, dinyatakan untuk ditinjau, bukan hasil.
Prinsip panduan FAIR · GO FAIR dan FORCE11W3C PROV · World Wide Web ConsortiumPanduan penanganan ketidakpastian secara konsisten · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
04Data

Apa yang digunakan metode ini.

Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in register sumber.

DataPeranLabel
Evaluation outputsScore estimationTERAMATI
Labelled audit samplesError estimationTERAMATI
Prediction logsKalibrasiTERAMATI
05Proses

Bagaimana proses berjalan.

Process explorer · Process

Statistics for AI evaluation: Catastrophe model pipeline

10 steps5 tahap

Proses

Statistics for AI evaluation: Catastrophe model pipeline

Model katastrofe biasanya memiliki modul bahaya, kerentanan, keterpaparan, dan keuangan, serta menghasilkan tabel kerugian, rata-rata kerugian tahunan, kurva terlampaui, PML, dan TVaR.

  1. 01 Bahaya

    1. 01Katalog peristiwaSet data · Pengembang modelModul bahaya memuat katalog besar kejadian simulasi yang mewakili beragam skenario yang masuk akal.
    2. 03Modul bahayaModel · Pengembang modelUntuk setiap kejadian, modul bahaya memberikan intensitas bahaya lokal yang dibaca modul kerentanan.

  2. 02 Keterpaparan dan kerusakan

    1. 02EksposurDataset · Incident responderModul keterpaparan memuat data portofolio, seperti informasi spesifik lokasi.
    2. 04Modul kerentananModel · Pengembang modelModul kerentanan mengukur kerusakan yang diharapkan pada objek terpapar akibat suatu kejadian.

  3. 03 Keuangan

    1. 05Modul keuanganModel · Incident responderModul keuangan menghitung kerugian dari semua skenario kejadian. Kerugian dasar (ground-up), bruto, dan neto berbeda sebagaimana ditunjukkan di bawah.
    2. 06Tabel kerugian kejadianDataset · Incident responderTabel kerugian kejadian mencantumkan setiap kejadian dengan probabilitas terjadinya per tahun dan kerugiannya bagi portofolio.
    3. 07Tabel kerugian tahunanDataset · Incident responderSebagian model juga mengambil sampel tahun simulasi dari kerugian kejadian. Garis besar ini tidak menjelaskan formatnya.

  4. 04 Metrik

    1. 08Probabilitas pelampauan curvesModel · Incident responderKurva kejadian memberikan peluang bahwa kerugian terbesar dalam setahun melampaui suatu jumlah. Kurva agregat melakukan hal yang sama untuk jumlah kerugian.
    2. 09AAL, PML, dan TVaRModel · Incident responderKerugian tahunan rata-rata menjumlahkan probabilitas kejadian dikalikan kerugian. PML adalah satu titik pada kurva kejadian.

  5. 05 Penggunaan hasil

    1. 10Penggunaan hasilDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

Garis besar suatu standar atau metode eksternal, dari sumber publiknya. Garis besar ini menjelaskan apa yang dinyatakan kerangka itu, bukan catatan pelaksanaan apa pun. Garis besar ini tidak menunjukkan bahwa Nexus atau mitra mana pun melaksanakan, menyertifikasi, atau menyetujui suatu langkah. Gerbang adalah langkah dalam metode, tidak pernah persetujuan Nexus.

06Validasi

Cara hasil diperiksa.

Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.

PemeriksaanCara pelaksanaannya
Interval reportingEvery metric is reported with its uncertainty
Multiple comparisonsComparisons across many tasks are corrected for multiple testing
Sample size planningAudit samples are sized to detect differences of stated magnitude

Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.

07Keterkaitan

Topik yang bertumpu pada metode ini.

08Pengelolaan

Siapa yang memelihara metode ini.

Ilmu Sistem dan Pemodelan stewards probability and statistics for the Consortium and reviews how it is applied across platforms.

Canonical page: Probability and statistics

09Terhubung

Ke mana halaman ini mengarah di seluruh Konsorsium.

10Pertanyaan

Tanya jawab.

What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
Bagaimana hasil diperiksa?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
Apakah nilai di halaman ini nyata?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Di mana lagi metode ini diterapkan?
Observatory Halaman metode kanonis mencantumkan setiap platform yang menerapkannya.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Laporan is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIKecerdasan Buatan dan Sistem OtonomTeknologi EksponensialBukti Labs

Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.

Kecerdasan Buatan dan Sistem Otonom

Bawa metode, dataset, atau pertanyaan.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.

Usulkan metode Lihat semua jalur kontak
Hukum

Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.