Skip to content

GCRI · 인공지능과 자율 시스템

AI 평가를 위한 통계

Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.

문의하기 Back to STEM foundation of Artificial Intelligence and Autonomous Systems
01등록

Statistics for AI evaluation on the record.

방법 기록STEM 방법
  1. 방법확률과 통계
  3. 적용 분야인공지능과 자율 시스템
  4. 데이터3 inputs
  6. 정본 페이지STEM 공유지
02신청서

What probability and statistics does here.

Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected 시스템. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons.

Uncertainty on benchmark scores

Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.

Calibration assessment

Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.

Audit sampling

Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.

03방법과 근거

How Statistics for AI evaluation is modelled, measured and tested.

모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.

모형, 방정식 및 가정

The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.

요소 i의 리스크Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량
연간 기대 손실EAL = ∑k pk · Lk연간 확률이 pk
결합 시스템xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
가정만드는 이유시험 방법
한 사건 안에서 재해와 노출은 서로 독립적임손실 적분을 다루기 쉽게 유지함결합 기록에 적합한 코퓰러와 비교
결합은 운전점 근처에서 선형이다충격이 A를 통해 전파되게 함선형 범위를 넘어 섭동을 주고 비교하십시오
취약성 곡선은 장소 간에 옮겨 쓸 수 있다지역 곡선은 거의 없다관측된 손실이 있는 곳에서는 이에 대해 검증
투입 자료
출처 정보가 있는 버전 관리 데이터세트
산출물
분포이며 결코 단일 숫자가 아님
코드
모델 카드 및 시험과 함께 공개
재현
같은 데이터, 코드, 환경과 시드
표준 리스크 및 상태공간 정식화로, 나열된 가정은 해당 방법에 일반적인 것이며 검토를 위해 명시한 것으로 결과가 아닙니다.
FAIR 지침 원칙 · GO FAIR와 FORCE11W3C PROV · 월드 와이드 웹 컨소시엄불확실성의 일관된 처리에 관한 지침 · IPCCCEOS 분석 준비 데이터(Analysis Ready Data) · 지구관측위성위원회
04데이터

방법이 사용하는 입력.

Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in 출처 등록부.

데이터역할라벨
Evaluation outputsScore estimation관측
Labelled audit samplesError estimation관측
Prediction logs보정관측
05절차

프로세스가 진행되는 방식.

Process explorer · Process

Statistics for AI evaluation: Catastrophe model pipeline

10 steps5단계

절차

Statistics for AI evaluation: Catastrophe model pipeline

대재해 모형은 대개 재해, 취약성, 노출, 재무 모듈로 구성되며, 손실 표, 연평균 손실, 초과 곡선, PML, TVaR을 산출합니다.

  1. 01 재해

    1. 01사건 카탈로그데이터셋 · 모형 개발자재해 모듈에는 폭넓은 개연성 있는 시나리오를 대표하는 대규모 모의 사건 목록이 있습니다.
    2. 03재해 모듈모형 · 모형 개발자각 사건에 대해 재해 모듈은 취약성 모듈이 읽는 지역의 재해 강도 를 제공합니다.

  2. 02 노출과 피해

    1. 02노출Dataset · Incident responder노출 모듈은 위치별 정보 같은 포트폴리오 데이터를 담고 있습니다.
    2. 04취약성 모듈모형 · 모형 개발자취약성 모듈은 사건으로 인해 노출 대상이 입을 예상 피해를 정량화합니다.

  3. 03 재무

    1. 05재무 모듈Model · Incident responder재무 모듈은 모든 사건 시나리오의 손실을 계산합니다. 원손실(ground-up), 총손실, 순손실은 아래와 같이 다릅니다.
    2. 06사건 손실 표Dataset · Incident responder사건 손실 표는 각 사건을 연간 발생 확률 및 포트폴리오 손실과 함께 나열합니다.
    3. 07연간 손실 표Dataset · Incident responder일부 모형은 사건 손실에서 모의 연도를 표본 추출하기도 합니다. 이 개요는 그 형식을 설명하지 않습니다.

  4. 04 지표

    1. 08초과 확률 곡선Model · Incident responder발생 곡선은 한 해의 최대 손실이 어떤 금액을 초과할 확률을 나타냅니다. 누적 곡선은 손실 합계에 대해 같은 것을 나타냅니다.
    2. 09AAL, PML, TVaRModel · Incident responder연평균 손실은 사건 확률과 손실을 곱한 값의 합입니다. PML은 발생 곡선 위의 한 점입니다.

  5. 05 결과의 활용

    1. 10결과의 활용Decision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

공개 출처를 바탕으로 한 외부 표준이나 방법의 개요입니다. 프레임워크가 말하는 내용을 설명할 뿐, 어떤 실행의 기록도 아닙니다. Nexus나 파트너가 어떤 단계를 수행, 인증, 승인한다는 것을 보여 주지 않습니다. 게이트는 방법의 한 단계일 뿐, Nexus의 승인이 아닙니다.

06검증

결과가 점검되는 방식.

Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.

점검수행 방식
Interval reportingEvery metric is reported with its uncertainty
Multiple comparisonsComparisons across many tasks are corrected for multiple testing
Sample size planningAudit samples are sized to detect differences of stated magnitude

Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.

07연결

이 방법에 의존하는 주제.

08스튜어드십

방법을 유지하는 주체.

시스템 과학과 모델링 stewards probability and statistics for the Consortium and reviews how it is applied across platforms.

Canonical page: Probability and statistics

09연결됨

이 페이지가 컨소시엄 전체에서 어디로 이어지는지.

10질문

질문과 답변.

What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
결과는 어떻게 점검됩니까?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
이 페이지의 값은 실제입니까?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
이 방법은 다른 어디에 적용됩니까?
사회를 움직이는 정본 방법 페이지 는 이를 적용하는 모든 플랫폼을 나열합니다.
보고서기여하기

이 페이지에서 증거를 기여하십시오.

보고서 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRI인공지능과 자율 시스템기하급수 기술Labs 근거

개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.

인공지능과 자율 시스템

방법, 데이터세트 또는 질문을 가져오십시오.

정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.

방법 제안 모든 연락 경로 보기
법률

이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.