Skip to content

GCRI · 人工知能と自律システム

AI 評価のための統計

Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.

問い合わせる Back to STEM foundation of Artificial Intelligence and Autonomous Systems
01登録

Statistics for AI evaluation on the record.

手法の記録STEM の手法
  1. 手法確率と統計
  3. 適用先人工知能と自律 システム
  4. データ3 inputs
  6. 正式なページSTEM コモンズ
02申請

What probability and statistics does here.

Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected システム. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons.

Uncertainty on benchmark scores

Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.

Calibration assessment

Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.

Audit sampling

Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.

03手法とエビデンス

How Statistics for AI evaluation is modelled, measured and tested.

モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。

モデル、方程式、仮定

The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.

要素 i のリスクRi = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力
年間期待損失EAL = ∑k pk · Lk年間確率 pk
結合システムxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
仮定作られる理由検証の方法
一つの事象の中では、ハザードとエクスポージャーは独立している損失の積分を扱いやすく保つ同時記録に当てはめたコピュラと比較
結合は動作点の近くで線形であるショックを A を通じて伝播させる線形範囲を超えて摂動を与えて比較する
脆弱性曲線は場所を越えて適用できる地域固有の曲線はめったに得られない観測された損失がある場合はそれに照らして検証
入力
来歴付きのバージョン管理されたデータセット
成果物
分布であり、単一の数値ではない
コード
モデルカードと試験とともに公開
再現
同じデータ、コード、環境、シード
標準的なリスクおよび状態空間の定式化です。挙げた前提はこの手法に典型的なもので、審査のために示しており、結果ではありません。
FAIR 原則・GO FAIR と FORCE11W3C PROV・World Wide Web Consortium不確実性の一貫した扱いに関するガイダンス・IPCCCEOS 解析即応データ・地球観測衛星委員会
04データ

手法が使用するもの。

Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in 出典の登録簿.

データ役割ラベル
Evaluation outputsScore estimation観測
Labelled audit samplesError estimation観測
Prediction logsキャリブレーション観測
05プロセス

プロセスの進め方。

Process explorer · Process

Statistics for AI evaluation: Catastrophe model pipeline

10 steps5 段階

プロセス

Statistics for AI evaluation: Catastrophe model pipeline

カタストロフィ・モデルは通常、ハザード、脆弱性、エクスポージャー、財務の各モジュールを持ち、損失表、 年間平均損失、超過曲線、PML、TVaR を生成します。

  1. 01 ハザード

    1. 01イベント・カタログデータセット · モデル開発者ハザード・モジュールは、起こりうる幅広いシナリオを表すシミュレーション事象の大規模なカタログを保持しています。
    2. 03ハザード・モジュールモデル · モデル開発者各事象について、ハザード・モジュールは脆弱性モジュールが読み取る局所的な ハザードの強度 を与えます。

  2. 02 エクスポージャーと被害

    1. 02曝露Dataset · Incident responderエクスポージャー・モジュールは、場所固有の情報などのポートフォリオ・データを保持します。
    2. 04脆弱性モジュールモデル · モデル開発者脆弱性モジュールは、事象によってエクスポージャーに生じる期待被害を定量化します。

  3. 03 財務

    1. 05財務モジュールModel · Incident responder財務モジュールは、すべての事象シナリオから損失を計算します。グラウンドアップ損失、グロス損失、ネット損失は、以下に示すように異なります。
    2. 06事象損失表Dataset · Incident responder事象損失表は、各事象をその年間発生確率とポートフォリオにとっての損失とともに列挙します。
    3. 07年間損失表Dataset · Incident responder一部のモデルは、事象の損失からシミュレーション年をサンプリングすることもあります。この概要では、その形式は説明していません。

  4. 04 指標

    1. 08超過確率 曲線Model · Incident responder発生曲線は、1 年間の最大損失がある金額を超える確率を示します。集計曲線は、損失の合計について同じことを示します。
    2. 09AAL、PML、TVaRModel · Incident responder年間平均損失は、事象の確率と損失の積を合計したものです。PML は発生曲線上の 1 点です。

  5. 05 結果の利用

    1. 10結果の利用Decision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

外部の標準または手法の概要を、その公開情報源に基づいて示したものです。フレームワークが述べていることを説明するものであり、いかなる実施の記録でもありません。Nexus やいずれかのパートナーがあるステップを実施、認証、承認していることを示すものではありません。ゲートは手法のステップであり、Nexus による承認ではありません。

06検証

結果の確認方法。

Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.

確認実施方法
Interval reportingEvery metric is reported with its uncertainty
Multiple comparisonsComparisons across many tasks are corrected for multiple testing
Sample size planningAudit samples are sized to detect differences of stated magnitude

Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.

07つながり

この手法に依拠するトピック。

08スチュワードシップ

手法を維持する者。

システム科学とモデリング stewards probability and statistics for the Consortium and reviews how it is applied across platforms.

Canonical page: Probability and statistics

09接続済み

このページがコンソーシアム全体でどこへつながるか。

10質問

質問と回答。

What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
結果はどのように確認されますか？
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
このページの値は実際のものですか？
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
この手法は他にどこで適用されていますか？
社会を動かし続ける 正式な手法のページ には、それを適用するすべてのプラットフォームが掲載されています。
報告書貢献する

このページからエビデンスを提供する。

報告書 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRI人工知能と自律システム指数関数的テクノロジーLabs のエビデンス

個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。

人工知能と自律システム

手法、データセット、または問いを持ち込んでください。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。

手法を提案する すべての連絡経路を見る
法務

このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。