Uncertainty on benchmark scores
Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.
GCRI · Intelligenza artificiale e sistemi autonomi
Statistica per la valutazione dell'IA
Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.
01Registrare
Statistics for AI evaluation on the record.
Registro del metodoMetodo STEM
- MetodoProbabilità e statistica
- Applicato inStudio Intelligenza artificiale e sistemi
- Dati3 inputs
- Verifiche3 fasi di validazione
- Pagina canonicaBeni comuni STEM
02Domanda di adesione
What probability and statistics does here.
Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected sistemi. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on gli STEM Commons.
Calibration assessment
Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.
Audit sampling
Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.
03Metodi ed evidenze
How Statistics for AI evaluation is modelled, measured and tested.
Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.
Modello, equazioni e ipotesi
The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.
Rischio dell'elemento i
Ri = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di rispostaPerdita annua attesa
EAL = ∑k pk · Lksu eventi k con probabilità annua pkSistemi accoppiati
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Ipotesi | Perché è realizzato | Come viene testato |
|---|---|---|
| Pericolo ed esposizione sono indipendenti all'interno di un evento | Mantiene trattabile l'integrale delle perdite | Confrontare con un adattamento di copula su registrazioni congiunte |
| Gli accoppiamenti sono lineari vicino al punto di funzionamento | Consente agli shock di propagarsi attraverso A | Perturbare oltre l'intervallo lineare e confrontare |
| Le curve di vulnerabilità si trasferiscono da un luogo all'altro | Le curve locali sono raramente disponibili | Validare rispetto alle perdite osservate, dove esistono |
- Input
- set di dati versionati con provenienza
- Risultati
- distribuzioni, mai valori singoli
- Codice
- pubblicato con la scheda del modello e i test
- Riproduzione
- stessi dati, codice, ambiente e seed
Principi guida FAIR · GO FAIR e FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Comitato sui satelliti per l'osservazione della Terra
04Dati
Cosa utilizza il metodo.
Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in registro delle fonti.
| Dati | Ruolo | Etichetta |
|---|---|---|
| Evaluation outputs | Score estimation | OSSERVATO |
| Labelled audit samples | Error estimation | OSSERVATO |
| Prediction logs | Calibrazione | OSSERVATO |
05Processo
Come si svolge il processo.
Process explorer · Process
Statistics for AI evaluation: Catastrophe model pipeline
10 steps·5 fasi
Processo
Statistics for AI evaluation: Catastrophe model pipeline
I modelli catastrofali hanno di solito moduli di pericolo, vulnerabilità, esposizione e finanziario, e producono tabelle delle perdite, perdita annua media, curve di superamento, PML e TVaR.
01 Pericolo
- 01Catalogo degli eventiSet di dati · Sviluppatore del modelloIl modulo dei pericoli contiene un ampio catalogo di eventi simulati che rappresenta un'ampia gamma di scenari plausibili.
- 03Modulo dei pericoliModello · Sviluppatore del modelloPer ogni evento il modulo dei pericoli fornisce l' intensità del pericolo locale che il modulo di vulnerabilità legge.
02 Esposizione e danni
- 02EsposizioneDataset · Incident responderIl modulo di esposizione contiene i dati del portafoglio, come le informazioni specifiche per località.
- 04Modulo di vulnerabilitàModello · Sviluppatore del modelloIl modulo di vulnerabilità quantifica il danno atteso agli elementi esposti a causa di un evento.
03 Finanziario
- 05Modulo finanziarioModel · Incident responderIl modulo finanziario calcola le perdite derivanti da tutti gli scenari di evento. Le perdite lorde di base, lorde e nette differiscono come indicato di seguito.
- 06Tabella delle perdite per eventoDataset · Incident responderUna tabella delle perdite per evento elenca ogni evento con la sua probabilità annua di accadimento e la sua perdita per il portafoglio.
- 07Tabella delle perdite annualiDataset · Incident responderAlcuni modelli campionano anche anni simulati dalle perdite degli eventi. Questa sintesi non ne descrive il formato.
04 Metriche
- 08Probabilità di superamento curvesModel · Incident responderLa curva delle occorrenze indica la probabilità che la perdita maggiore in un anno superi un dato importo. La curva aggregata fa lo stesso per la somma delle perdite.
- 09AAL, PML e TVaRModel · Incident responderLa perdita media annua somma la probabilità di ciascun evento moltiplicata per la perdita. La PML è un punto sulla curva delle occorrenze.
05 Uso dei risultati
- 10Uso dei risultatiDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
Sintesi di uno standard o metodo esterno, tratta dalle sue fonti pubbliche. Descrive ciò che dice il quadro, non il resoconto di alcuna esecuzione. Non indica che Nexus o un partner esegua, certifichi o approvi una fase. Un gate è una fase del metodo, mai un'approvazione di Nexus.
06Validazione
Come vengono verificati i risultati.
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
| Verifica | Come si fa |
|---|---|
| Interval reporting | Every metric is reported with its uncertainty |
| Multiple comparisons | Comparisons across many tasks are corrected for multiple testing |
| Sample size planning | Audit samples are sized to detect differences of stated magnitude |
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
07Collegamenti
Argomenti che si basano su questo metodo.
08Custodia
Chi mantiene il metodo.
Scienza dei sistemi e modellazione stewards probability and statistics for the Consortium and reviews how it is applied across platforms.
09Connesso
Dove porta questa pagina nel Consorzio.
10Domande
Domande e risposte.
What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
Come vengono verificati i risultati?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
I valori di questa pagina sono reali?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Dove altro viene applicato questo metodo?
Il pagina canonica del metodo elenca ogni piattaforma che lo applica.
RapportiContribuisci
Contribuisci con evidenze da questa pagina.
Rapporti is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIIntelligenza artificiale e sistemi autonomiTecnologia esponenzialeEvidenze di Labs
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoDeposito apertoDepositalo e invialo alla comunitàPubblica il tuo registro su Zenodo con il tuo ORCID iD, poi invialo alla comunità Reports. I curatori lo esaminano; il DOI resta tuo.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Intelligenza artificiale e sistemi autonomi
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Note legali
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.