Skip to content

GCRI · Künstliche Intelligenz und autonome Systeme

Statistik für die KI-Evaluierung

Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.

Eine Anfrage stellen Back to STEM foundation of Artificial Intelligence and Autonomous Systems
01Registrieren

Statistics for AI evaluation on the record.

MethodennachweisMINT-Methode
  1. MethodeWahrscheinlichkeit und Statistik
  3. Angewandt inStudio Künstliche Intelligenz und autonome System
  6. Kanonische SeiteMINT-Commons
02Antrag

What probability and statistics does here.

Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected Systeme. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on die STEM Commons.

Uncertainty on benchmark scores

Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.

Calibration assessment

Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.

Audit sampling

Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.

03Methoden und Evidenz

How Statistics for AI evaluation is modelled, measured and tested.

Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.

Modell, Gleichungen und Annahmen

The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.

Risiko des Elements iRi = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und Bewältigungskapazität
Erwarteter jährlicher SchadenEAL = ∑k pk · Lküber Ereignisse k mit jährlicher Wahrscheinlichkeit pk
Gekoppelte Systemext+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AnnahmeWarum es entstehtWie es geprüft wird
Gefahr und Exposition sind innerhalb eines Ereignisses unabhängigHält das Schadensintegral berechenbarMit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen
Kopplungen sind nahe dem Arbeitspunkt linearLässt Schocks sich über A ausbreitenÜber den linearen Bereich hinaus stören und vergleichen
Vulnerabilitätskurven lassen sich zwischen Orten übertragenLokale Kurven sind selten verfügbarAnhand beobachteter Schäden validieren, wo es sie gibt
Eingaben
versionierte Datensätze mit Herkunftsnachweis
Ergebnisse
Verteilungen, nie einzelne Zahlen
Code
mit Modellkarte und Tests veröffentlicht
Reproduktion
gleiche Daten, Code, Umgebung und Seed
Standardformulierungen für Risiko und Zustandsraum; die aufgeführten Annahmen sind für die Methode typisch und zur Prüfung benannt, keine Ergebnisse.
FAIR-Leitprinzipien · GO FAIR und FORCE11W3C PROV · World Wide Web ConsortiumHinweise zur einheitlichen Behandlung von Unsicherheiten · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
04Daten

Was die Methode verwendet.

Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in dem Quellenregister.

DatenRolleKennzeichnung
Evaluation outputsScore estimationBEOBACHTET
Labelled audit samplesError estimationBEOBACHTET
Prediction logsKalibrierungBEOBACHTET
05Verfahren

Wie der Prozess abläuft.

Process explorer · Process

Statistics for AI evaluation: Catastrophe model pipeline

10 steps5 Stufen

Verfahren

Statistics for AI evaluation: Catastrophe model pipeline

Katastrophenmodelle haben üblicherweise Gefahren-, Verwundbarkeits-, Expositions- und Finanzmodule und erzeugen Schadentabellen, den mittlere jährliche Schaden, Überschreitungskurven, PML und TVaR.

  1. 01 Gefahr

    1. 01EreigniskatalogDatensatz · ModellentwicklerDas Gefahrenmodul enthält einen großen Katalog simulierter Ereignisse, der ein breites Spektrum plausibler Szenarien abbildet.
    2. 03GefahrenmodulModell · ModellentwicklerFür jedes Ereignis liefert das Gefahrenmodul die lokale Intensität der Gefahr , die das Verwundbarkeitsmodul liest.

  2. 02 Exposition und Schaden

    1. 02ExpositionDataset · Incident responderDas Expositionsmodul enthält die Portfoliodaten, etwa standortspezifische Informationen.
    2. 04VerwundbarkeitsmodulModell · ModellentwicklerDas Verwundbarkeitsmodul quantifiziert den erwarteten Schaden an den exponierten Werten durch ein Ereignis.

  3. 03 Finanziell

    1. 05FinanzmodulModel · Incident responderDas Finanzmodul berechnet Schäden aus allen Ereignisszenarien. Ground-up-, Brutto- und Nettoschäden unterscheiden sich wie unten gezeigt.
    2. 06EreignisschadentabelleDataset · Incident responderEine Ereignisschadentabelle listet jedes Ereignis mit seiner jährlichen Eintrittswahrscheinlichkeit und seinem Schaden für das Portfolio auf.
    3. 07JahresschadentabelleDataset · Incident responderManche Modelle ziehen zudem simulierte Jahre aus Ereignisschäden. Dieser Überblick beschreibt ihr Format nicht.

  4. 04 Kennzahlen

    1. 08Überschreitungswahrscheinlichkeit curvesModel · Incident responderDie Eintrittskurve gibt die Wahrscheinlichkeit an, dass der größte Schaden eines Jahres einen Betrag übersteigt. Die aggregierte Kurve tut dies für die Summe der Schäden.
    2. 09AAL, PML und TVaRModel · Incident responderDer durchschnittliche Jahresschaden summiert Ereigniswahrscheinlichkeit mal Schaden. Der PML ist ein Punkt auf der Eintrittskurve.

  5. 05 Nutzung der Ergebnisse

    1. 10Nutzung der ErgebnisseDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

Überblick über einen externen Standard oder eine externe Methode aus öffentlichen Quellen. Er beschreibt, was das Rahmenwerk sagt, keinen Nachweis eines Durchlaufs. Er zeigt nicht, dass Nexus oder ein Partner einen Schritt durchführt, zertifiziert oder genehmigt. Ein Gate ist ein Schritt der Methode, niemals eine Genehmigung durch Nexus.

06Validierung

Wie Ergebnisse geprüft werden.

Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.

PrüfenWie es gemacht wird
Interval reportingEvery metric is reported with its uncertainty
Multiple comparisonsComparisons across many tasks are corrected for multiple testing
Sample size planningAudit samples are sized to detect differences of stated magnitude

Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.

07Verbindungen

Themen, die sich auf diese Methode stützen.

08Treuhänderschaft

Wer die Methode pflegt.

Systemwissenschaft und Modellierung stewards probability and statistics for the Consortium and reviews how it is applied across platforms.

Canonical page: Probability and statistics

09Verbunden

Wohin diese Seite im Konsortium führt.

10Fragen

Fragen und Antworten.

What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
Wie werden Ergebnisse geprüft?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
Sind die Werte auf dieser Seite echt?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Wo wird diese Methode sonst angewandt?
Das kanonische Methodenseite listet jede Plattform auf, die sie anwendet.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Berichte is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIKünstliche Intelligenz und autonome SystemeExponentielle TechnologieLabs-Evidenz

Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.

Künstliche Intelligenz und autonome Systeme

Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.

Eine Methode vorschlagen Alle Kontaktwege ansehen
Rechtliches

Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.