Uncertainty on benchmark scores
Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.
GCRI · Intelligence artificielle et systèmes autonomes
Statistique pour l'évaluation de l'IA
Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.
01Registre
Statistics for AI evaluation on the record.
Fiche de la méthodeMéthode STIM
- MéthodeProbabilités et statistiques
- Appliqué dansStudio Intelligence artificielle et systèmes
- Données3 inputs
- Vérifications3 étapes de validation
- Page canoniqueCommons STIM
02Candidature
What probability and statistics does here.
Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected systèmes. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on les STEM Commons.
Calibration assessment
Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.
Audit sampling
Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.
03Méthodes et preuves
How Statistics for AI evaluation is modelled, measured and tested.
Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.
Modèle, équations et hypothèses
The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.
Risque de l'élément i
Ri = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire facePerte annuelle attendue
EAL = ∑k pk · Lksur les événements k de probabilité annuelle pkSystèmes couplés
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Hypothèse | Pourquoi il est réalisé | Comment il est testé |
|---|---|---|
| Aléa et exposition sont indépendants au sein d'un événement | Garde l'intégrale des pertes calculable | Comparer avec un ajustement de copule sur des relevés conjoints |
| Les couplages sont linéaires près du point de fonctionnement | Laisse les chocs se propager à travers A | Perturber au-delà de la plage linéaire et comparer |
| Les courbes de vulnérabilité se transposent d'un lieu à l'autre | Les courbes locales sont rarement disponibles | Valider par rapport aux pertes observées lorsqu'elles existent |
- Entrées
- jeux de données versionnés avec provenance
- Productions
- des distributions, jamais des nombres isolés
- Code
- publié avec la fiche de modèle et les tests
- Reproduction
- mêmes données, code, environnement et graine
Principes directeurs FAIR · GO FAIR et FORCE11W3C PROV · World Wide Web ConsortiumOrientations sur le traitement cohérent des incertitudes · GIECCEOS Analysis Ready Data · Comité sur les satellites d'observation de la Terre
04Données
Ce que consomme la méthode.
Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in le registre des sources.
| Données | Rôle | Étiquette |
|---|---|---|
| Evaluation outputs | Score estimation | OBSERVÉ |
| Labelled audit samples | Error estimation | OBSERVÉ |
| Prediction logs | Calibrage | OBSERVÉ |
05Processus
Comment le processus se déroule.
Process explorer · Process
Statistics for AI evaluation: Catastrophe model pipeline
10 steps·5 étapes
Processus
Statistics for AI evaluation: Catastrophe model pipeline
Les modèles de catastrophe comportent généralement des modules d'aléa, de vulnérabilité, d'exposition et financier, et produisent des tables de pertes, la perte annuelle moyenne, des courbes de dépassement, la PML et la TVaR.
01 Aléa
- 01Catalogue d'événementsJeu de données · Développeur du modèleLe module d'aléa contient un vaste catalogue d'événements simulés qui représente un large éventail de scénarios plausibles.
- 03Module d'aléaModèle · Développeur du modèlePour chaque événement, le module d'aléa fournit l' intensité de l'aléa locale que lit le module de vulnérabilité.
02 Exposition et dommages
- 02ExpositionDataset · Incident responderLe module d'exposition contient les données du portefeuille, telles que les informations propres à chaque emplacement.
- 04Module de vulnérabilitéModèle · Développeur du modèleLe module de vulnérabilité quantifie les dommages attendus sur les éléments exposés lors d'un événement.
03 Financier
- 05Module financierModel · Incident responderLe module financier calcule les pertes de tous les scénarios d'événements. Les pertes économiques totales, brutes et nettes diffèrent comme indiqué ci-dessous.
- 06Table des pertes par événementDataset · Incident responderUne table des pertes par événement liste chaque événement avec sa probabilité de survenue annuelle et sa perte pour le portefeuille.
- 07Table des pertes annuellesDataset · Incident responderCertains modèles échantillonnent aussi des années simulées à partir des pertes par événement. Cette présentation n'en décrit pas le format.
04 Indicateurs
- 08Probabilité de dépassement curvesModel · Incident responderLa courbe d'occurrence donne la probabilité que la perte la plus importante d'une année dépasse un montant. La courbe agrégée fait de même pour la somme des pertes.
- 09AAL, PML et TVaRModel · Incident responderLa perte annuelle moyenne additionne, pour chaque événement, la probabilité multipliée par la perte. La PML est un point de la courbe d'occurrence.
05 Utilisation des résultats
- 10Utilisation des résultatsDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
Présentation d'une norme ou d'une méthode externe, d'après ses sources publiques. Elle décrit ce que dit le cadre, et non le compte rendu d'une exécution. Elle ne montre pas que Nexus ou un partenaire exécute, certifie ou approuve une étape. Une porte est une étape de la méthode, jamais une approbation de Nexus.
06Validation
Comment les résultats sont vérifiés.
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
| Vérifier | Comment c'est fait |
|---|---|
| Interval reporting | Every metric is reported with its uncertainty |
| Multiple comparisons | Comparisons across many tasks are corrected for multiple testing |
| Sample size planning | Audit samples are sized to detect differences of stated magnitude |
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
07Liens
Thèmes qui s'appuient sur cette méthode.
08Intendance
Qui tient à jour la méthode.
Science des systèmes et modélisation stewards probability and statistics for the Consortium and reviews how it is applied across platforms.
09Connecté
Où mène cette page à travers le Consortium.
10Questions
Questions et réponses.
What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
Comment les résultats sont-ils vérifiés ?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
Les valeurs de cette page sont-elles réelles ?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Où d'autre cette méthode est-elle appliquée ?
Le page canonique de la méthode liste toutes les plateformes qui l'appliquent.
RapportsContribuer
Apportez des éléments de preuve depuis cette page.
Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIIntelligence artificielle et systèmes autonomesTechnologies exponentiellesPreuves des Labs
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoDépôt ouvertLe déposer et le soumettre à la communautéPubliez votre propre fiche sur Zenodo avec votre identifiant ORCID, puis soumettez-la à la communauté Reports qui s'y trouve. Des curateurs l'examinent ; le DOI reste le vôtre.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Intelligence artificielle et systèmes autonomes
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Juridique
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.