Skip to content

GCRI · Intelligence artificielle et systèmes autonomes

Statistique pour l'évaluation de l'IA

Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.

Faire une demande Back to STEM foundation of Artificial Intelligence and Autonomous Systems
01Registre

Statistics for AI evaluation on the record.

Fiche de la méthodeMéthode STIM
  1. MéthodeProbabilités et statistiques
  3. Appliqué dansStudio Intelligence artificielle et systèmes
  4. Données3 inputs
  6. Page canoniqueCommons STIM
02Candidature

What probability and statistics does here.

Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected systèmes. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on les STEM Commons.

Uncertainty on benchmark scores

Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.

Calibration assessment

Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.

Audit sampling

Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.

03Méthodes et preuves

How Statistics for AI evaluation is modelled, measured and tested.

Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.

Modèle, équations et hypothèses

The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.

Risque de l'élément iRi = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire face
Perte annuelle attendueEAL = ∑k pk · Lksur les événements k de probabilité annuelle pk
Systèmes couplésxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
HypothèsePourquoi il est réaliséComment il est testé
Aléa et exposition sont indépendants au sein d'un événementGarde l'intégrale des pertes calculableComparer avec un ajustement de copule sur des relevés conjoints
Les couplages sont linéaires près du point de fonctionnementLaisse les chocs se propager à travers APerturber au-delà de la plage linéaire et comparer
Les courbes de vulnérabilité se transposent d'un lieu à l'autreLes courbes locales sont rarement disponiblesValider par rapport aux pertes observées lorsqu'elles existent
Entrées
jeux de données versionnés avec provenance
Productions
des distributions, jamais des nombres isolés
Code
publié avec la fiche de modèle et les tests
Reproduction
mêmes données, code, environnement et graine
Formulations standard du risque et de l'espace d'états ; les hypothèses énumérées sont typiques de la méthode, énoncées pour examen, et non des résultats.
Principes directeurs FAIR · GO FAIR et FORCE11W3C PROV · World Wide Web ConsortiumOrientations sur le traitement cohérent des incertitudes · GIECCEOS Analysis Ready Data · Comité sur les satellites d'observation de la Terre
04Données

Ce que consomme la méthode.

Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in le registre des sources.

DonnéesRôleÉtiquette
Evaluation outputsScore estimationOBSERVÉ
Labelled audit samplesError estimationOBSERVÉ
Prediction logsCalibrageOBSERVÉ
05Processus

Comment le processus se déroule.

Process explorer · Process

Statistics for AI evaluation: Catastrophe model pipeline

10 steps5 étapes

Processus

Statistics for AI evaluation: Catastrophe model pipeline

Les modèles de catastrophe comportent généralement des modules d'aléa, de vulnérabilité, d'exposition et financier, et produisent des tables de pertes, la perte annuelle moyenne, des courbes de dépassement, la PML et la TVaR.

  1. 01 Aléa

    1. 01Catalogue d'événementsJeu de données · Développeur du modèleLe module d'aléa contient un vaste catalogue d'événements simulés qui représente un large éventail de scénarios plausibles.
    2. 03Module d'aléaModèle · Développeur du modèlePour chaque événement, le module d'aléa fournit l' intensité de l'aléa locale que lit le module de vulnérabilité.

  2. 02 Exposition et dommages

    1. 02ExpositionDataset · Incident responderLe module d'exposition contient les données du portefeuille, telles que les informations propres à chaque emplacement.
    2. 04Module de vulnérabilitéModèle · Développeur du modèleLe module de vulnérabilité quantifie les dommages attendus sur les éléments exposés lors d'un événement.

  3. 03 Financier

    1. 05Module financierModel · Incident responderLe module financier calcule les pertes de tous les scénarios d'événements. Les pertes économiques totales, brutes et nettes diffèrent comme indiqué ci-dessous.
    2. 06Table des pertes par événementDataset · Incident responderUne table des pertes par événement liste chaque événement avec sa probabilité de survenue annuelle et sa perte pour le portefeuille.
    3. 07Table des pertes annuellesDataset · Incident responderCertains modèles échantillonnent aussi des années simulées à partir des pertes par événement. Cette présentation n'en décrit pas le format.

  4. 04 Indicateurs

    1. 08Probabilité de dépassement curvesModel · Incident responderLa courbe d'occurrence donne la probabilité que la perte la plus importante d'une année dépasse un montant. La courbe agrégée fait de même pour la somme des pertes.
    2. 09AAL, PML et TVaRModel · Incident responderLa perte annuelle moyenne additionne, pour chaque événement, la probabilité multipliée par la perte. La PML est un point de la courbe d'occurrence.

  5. 05 Utilisation des résultats

    1. 10Utilisation des résultatsDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

Présentation d'une norme ou d'une méthode externe, d'après ses sources publiques. Elle décrit ce que dit le cadre, et non le compte rendu d'une exécution. Elle ne montre pas que Nexus ou un partenaire exécute, certifie ou approuve une étape. Une porte est une étape de la méthode, jamais une approbation de Nexus.

06Validation

Comment les résultats sont vérifiés.

Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.

VérifierComment c'est fait
Interval reportingEvery metric is reported with its uncertainty
Multiple comparisonsComparisons across many tasks are corrected for multiple testing
Sample size planningAudit samples are sized to detect differences of stated magnitude

Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.

07Liens

Thèmes qui s'appuient sur cette méthode.

08Intendance

Qui tient à jour la méthode.

Science des systèmes et modélisation stewards probability and statistics for the Consortium and reviews how it is applied across platforms.

Canonical page: Probability and statistics

09Connecté

Où mène cette page à travers le Consortium.

10Questions

Questions et réponses.

What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
Comment les résultats sont-ils vérifiés ?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
Les valeurs de cette page sont-elles réelles ?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Où d'autre cette méthode est-elle appliquée ?
Le page canonique de la méthode liste toutes les plateformes qui l'appliquent.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIIntelligence artificielle et systèmes autonomesTechnologies exponentiellesPreuves des Labs

N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.

Intelligence artificielle et systèmes autonomes

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.

Proposer une méthode Voir tous les canaux de contact
Juridique

Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.