GCRI · 인공지능과 자율 시스템
모형 평가
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
모형 등록부.
팀이 이 주제를 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.
모델 레지스트리
Model evaluation · Model registry · Release gate
모델
| M-184 triage assistant | 공공 서비스 | 높음 | 19 of 24 suites | 차단됨 |
| M-320 flood nowcast | 과학 | 보통 | 12 / 12 | 공개됨 |
| M-157 document search | 내부 | 낮음 | 8 of 8 | 공개됨 |
| M-563 agent planner | 에이전트형 | 높음 | 12 of 16 | 평가 중 |
모델 카드
- 의도된 용도
- 분류 지원, 결정은 사람이
- 범위 밖
- 자격 결정
- 알려진 한계
- 드문 사례에서 정확도가 낮음
- 소유자
- 모델 소유자
사고 기록
- D-21INC요약에 환각 인용 포함
- D-9MIT검색 근거 추가됨
- D-2INC업로드된 파일을 통한 프롬프트 주입
- D-1MIT도구 권한 축소됨
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
Evaluations are designed for the Labs 증거 시리즈. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.
모형, 방정식 및 가정
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량EAL = ∑k pk · Lk연간 확률이 pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 가정 | 만드는 이유 | 시험 방법 |
|---|---|---|
| 한 사건 안에서 재해와 노출은 서로 독립적임 | 손실 적분을 다루기 쉽게 유지함 | 결합 기록에 적합한 코퓰러와 비교 |
| 결합은 운전점 근처에서 선형이다 | 충격이 A를 통해 전파되게 함 | 선형 범위를 넘어 섭동을 주고 비교하십시오 |
| 취약성 곡선은 장소 간에 옮겨 쓸 수 있다 | 지역 곡선은 거의 없다 | 관측된 손실이 있는 곳에서는 이에 대해 검증 |
- 투입 자료
- 출처 정보가 있는 버전 관리 데이터세트
- 산출물
- 분포이며 결코 단일 숫자가 아님
- 코드
- 모델 카드 및 시험과 함께 공개
- 재현
- 같은 데이터, 코드, 환경과 시드
측정되는 것과 그 정확도.
각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.
| 지표 | 단위 | 주기 | 출처 유형 | 라벨 |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | 보고됨 |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | 신고됨 |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | 보고됨 |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | 관측 |
| Post-deployment incident reports | count by type | 월별 | Incident monitoring | 보고됨 |
| 보정 오차 | expected calibration error | per evaluation | Evaluation on held-out data | 관측 |
근거의 출처.
이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.
| 출처 | 제공하는 것 | 라이선스 등급 |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| 국제 AI 안전 보고서 | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | 공개, CC BY 4.0 |
누가 결정하며 근거는 무엇에 쓰이는지.
인공지능과 자율 시스템 prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| 결정 주체 | 질문 | 이 페이지가 제공하는 근거 |
|---|---|---|
| 개발자 | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
이 주제가 생산하는 산출물
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as 분포 변화, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with 확률과 통계. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using 사회 및 행동 과학 methods for rater agreement. Human judgement is costly and can be inconsistent.
연구되는 방식과 방법이 말할 수 없는 것.
Where this page’s references lead.
이 페이지를 읽을 때 기준이 되는 기구와 문서. 상태와 판은 바뀌며, 각 링크는 발행 기구로 연결됩니다.
질문과 답변.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
이 페이지에서 증거를 기여하십시오.
보고서 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- 이메일게이트웨이 GW-GCRI이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- Zenodo개방형 예치기탁하고 커뮤니티에 제출하기ORCID iD로 Zenodo에 직접 기록을 게시한 뒤, 그곳의 Reports 커뮤니티에 제출하십시오. 큐레이터가 검토하며, DOI는 귀하의 것으로 남습니다.
- 보고서GCRI모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
방법, 데이터세트 또는 질문을 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.