Skip to content

GCRI · Yapay Zekâ ve Otonom Sistemler

Yapay zekâ değerlendirmesi için istatistik

Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.

Bilgi talebinde bulunun Back to STEM foundation of Artificial Intelligence and Autonomous Systems
01Sicil

Statistics for AI evaluation on the record.

Yöntem kaydıSTEM yöntemi
  1. YöntemOlasılık ve istatistik
  3. Uygulandığı yerYapay Zekâ ve Otonom Sistem
  6. Kanonik sayfaSTEM Commons
02Başvuru

What probability and statistics does here.

Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected sistemleri. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons'a.

Uncertainty on benchmark scores

Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.

Calibration assessment

Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.

Audit sampling

Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.

03Yöntemler ve kanıt

How Statistics for AI evaluation is modelled, measured and tested.

Model, varsayımları, verileri ve belirsizliği, bir bilim insanının veya mühendisin kontrol edeceği biçimde. Yapılar yayımlanmış yöntemleri izler. Çizilen değerler bulgu değil, açıklayıcıdır.

Model, denklemler ve varsayımlar

The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.

i öğesinin riskiRi = f(Hi, Ei, Vi, Ci)tehlike, maruziyet, kırılganlık ve başa çıkma kapasitesi
Beklenen yıllık kayıpEAL = ∑k pk · Lkyıllık olasılığı pk
Bağlı sistemlerxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
VarsayımNeden yapıldığıNasıl sınanır
Bir olay içinde tehlike ve maruziyet bağımsızdırKayıp integralini çözülebilir tutarOrtak kayıtlara uydurulmuş bir kopula ile karşılaştırın
Bağlantılar çalışma noktası yakınında doğrusaldırŞokların A üzerinden yayılmasına izin verirDoğrusal aralığın ötesine itin ve karşılaştırın
Kırılganlık eğrileri yerler arasında aktarılabilirYerel eğriler nadiren mevcutturMevcut olduğunda gözlemlenen kayıplarla doğrulayın
Girdiler
kaynağı belgelenmiş, sürümlü veri setleri
Çıktılar
dağılımlar, asla tek sayılar değil
Kod
model kartı ve testlerle birlikte yayımlanır
Yeniden üretim
aynı veri, kod, ortam ve tohum değeri
Standart risk ve durum uzayı formülasyonları; listelenen varsayımlar yöntemin tipik varsayımlarıdır, inceleme için belirtilmiştir, sonuç değildir.
FAIR yol gösterici ilkeleri · GO FAIR ve FORCE11W3C PROV · World Wide Web ConsortiumBelirsizliklerin tutarlı ele alınmasına ilişkin kılavuz · IPCCCEOS Analysis Ready Data · Yer Gözlem Uyduları Komitesi
04Veri

Yöntemin tükettikleri.

Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in kaynak sicilinde.

VeriRolEtiket
Evaluation outputsScore estimationGÖZLENEN
Labelled audit samplesError estimationGÖZLENEN
Prediction logsKalibrasyonGÖZLENEN
05Süreç

Sürecin nasıl işlediği.

Process explorer · Process

Statistics for AI evaluation: Catastrophe model pipeline

10 steps5 aşama

Süreç

Statistics for AI evaluation: Catastrophe model pipeline

Katastrofi modelleri genellikle tehlike, kırılganlık, maruziyet ve finansal modüllerden oluşur ve kayıp tabloları, ortalama yıllık kayıptır, aşım eğrileri, PML ve TVaR üretir.

  1. 01 Tehlike

    1. 01Olay kataloğuVeri kümesi · Model geliştiriciTehlike modülü, geniş bir olası senaryo yelpazesini temsil eden büyük bir benzetilmiş olay kataloğu içerir.
    2. 03Tehlike modülüModel · Model geliştiriciHer olay için tehlike modülü, kırılganlık modülünün okuduğu yerel tehlike şiddetini verir.

  2. 02 Maruziyet ve hasar

    1. 02MaruziyetDataset · Incident responderMaruziyet modülü, konuma özgü bilgiler gibi portföy verilerini barındırır.
    2. 04Kırılganlık modülüModel · Model geliştiriciKırılganlık modülü, bir olaydan maruz kalan varlıklarda beklenen hasarı sayısallaştırır.

  3. 03 Finansal

    1. 05Finansal modülModel · Incident responderFinansal modül tüm olay senaryolarından kayıpları hesaplar. Temel, brüt ve net kayıplar aşağıda gösterildiği gibi farklılık gösterir.
    2. 06Olay kayıp tablosuDataset · Incident responderOlay kayıp tablosu, her olayı yıllık gerçekleşme olasılığı ve portföy için kaybıyla birlikte listeler.
    3. 07Yıllık kayıp tablosuDataset · Incident responderBazı modeller ayrıca olay kayıplarından benzetilmiş yıllar örnekler. Bu özet onların biçimini tanımlamaz.

  4. 04 Ölçütler

    1. 08Aşılma olasılığı eğrileriModel · Incident responderGerçekleşme eğrisi, bir yıldaki en büyük kaybın belirli bir tutarı aşma olasılığını verir. Toplam eğrisi aynısını kayıpların toplamı için yapar.
    2. 09AAL, PML ve TVaRModel · Incident responderOrtalama yıllık kayıp, olay olasılığı ile kaybın çarpımlarının toplamıdır. PML, gerçekleşme eğrisi üzerindeki bir noktadır.

  5. 05 Sonuçların kullanımı

    1. 10Sonuçların kullanımıDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

Dış bir standardın veya yöntemin, kamuya açık kaynaklarından çıkarılmış özeti. Çerçevenin ne söylediğini tanımlar, herhangi bir uygulamanın kaydı değildir. Nexus'un veya herhangi bir ortağın bir adımı gerçekleştirdiğini, belgelendirdiğini veya onayladığını göstermez. Bir geçit yöntemin bir adımıdır, asla bir Nexus onayı değildir.

06Doğrulama

Sonuçlar nasıl kontrol edilir.

Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.

Kontrol edinNasıl yapıldığı
Interval reportingEvery metric is reported with its uncertainty
Multiple comparisonsComparisons across many tasks are corrected for multiple testing
Sample size planningAudit samples are sized to detect differences of stated magnitude

Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.

07Bağlantılar

Bu yönteme dayanan konular.

08Sorumlu yönetim

Yöntemi kimin sürdürdüğü.

Sistem Bilimi ve Modelleme stewards probability and statistics for the Consortium and reviews how it is applied across platforms.

Canonical page: Probability and statistics

09Bağlı

Bu sayfanın Konsorsiyum genelinde nereye götürdüğü.

10Sorular

Sorular ve yanıtlar.

What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
Sonuçlar nasıl kontrol edilir?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
Bu sayfadaki değerler gerçek mi?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Bu yöntem başka nerede uygulanıyor?
Toplumları ayakta tutan Kanonik yöntem sayfası onu uygulayan tüm platformları listeler.
RaporlarKatkıda bulunun

Bu sayfadan kanıt katkısında bulunun.

Raporlar is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIYapay Zekâ ve Otonom SistemlerÜstel TeknolojiLabs Kanıtı

Hiçbir zaman kişisel veri, hassas altyapı ayrıntısı veya paylaşma hakkınız olmayan hiçbir şey göndermeyin. Bir katkı kullanılmadan önce incelenir. Katkıyı göndermek yazarlık veya editoryal hak sağlamaz ve sponsorluk hiçbir zaman bir bulgu satın almaz.

Yapay Zekâ ve Otonom Sistemler

Bir yöntem, bir veri seti ya da bir soru getirin.

Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.

Bir yöntem önerin Tüm iletişim kanallarını görün
Hukuk

Bu sitedeki haritalar, veriler ve şekiller bağlam ve genel bilgi amacıyla gösterilir. Tavsiye, tahmin ya da uyarı değildir; bilgilerin sınırları Sorumluluk Reddi ve Veri Bildirimleri'nde açıklanmıştır.