Skip to content

GCRI · 시스템 과학과 모델링

불확실성과 검증

A model result is useful only when its uncertainty is stated and its fitness for a purpose has been tested. Verification checks that the code solves the equations intended; validation checks that the model represents the real system well enough for the decision at hand. This page sets out how uncertainty is quantified and models are verified and validated, and what evidence serves the decision makers who rely on model results.

01캔버스

일이 진행되는 방식.

시스템 · 이 주제 주변예시

결합 모델 실행기

Uncertainty and validation · Coupled model A · Scenario set 3

앙상블 실행 중GCRI · 시스템 과학과 모델링

모델 결합 그래프

노드: 모형 · 간선: 교환되는 변수

결합된 구성 요소

수문학1 day유출예
전력 시스템1 h수요, 정전예
경제1분기산출, 가격부분
인구1 year노출예

앙상블 출력

Coupled model runner: the screen’s structure, terms and states for Uncertainty and validation.예시 이름과 예시 값으로, 실제 기록이나 운영 중인 시스템이 아닌 설계안입니다.

그림Coupled model runner: example names and illustrative values, not a record or a live system.

02질문

Uncertainty and validation: how the risk develops.

Quantifying uncertainty, validation against observations and the limits of calibration. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

메커니즘

Verification precedes validation

Before asking whether a model matches reality, modellers check that the code is correct, through tests, convergence studies and comparison with known solutions.

메커니즘

Validation is purpose-specific

A model valid for one question may be invalid for another. Validation is judged against the accuracy a specific decision needs.

메커니즘

Uncertainty has several sources

Input data, parameters, model structure, numerical error and natural variability each contribute, and each needs a different treatment.

메커니즘

Calibration can hide error

Tuning parameters to match past data can make a model fit for the wrong reasons, so validation needs data not used in calibration.

03지리

북미의 재해와 노출.

Flood water, population density and night lights over North America, from NASA GIBS. Each layer carries its own date.

대화형 지도에는 JavaScript가 필요합니다. 레이어 목록과 출처는 아래에 있습니다.

레이어 3

이 페이지의 재해와 노출

이 레이어 소개
증거
관측(구름이 있으면 빈틈이 생김)
출처
VIIRS 글로벌 홍수 산출물(NASA LANCE)
제공자
NASA LANCE
라이선스
NASA 공개 데이터
생산 연도
매일, 위성 탐지, 구름이 있으면 빈틈이 생김
빌드 시점 최신
2026-10-14
해결
약 250 m 격자
불확실성
위성 탐지로, 구름이 있으면 빈틈이 생깁니다. 제공자가 게시한 그대로의 위성 또는 모형 래스터입니다. 구름, 관측 폭 공백, 산출 오차로 인해 빈틈과 잡음이 생기며, 값은 특정 장소의 측정치가 아니라 지표입니다.
접근 경로
실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
증거
추정
출처
세계 격자 인구 v4.11(NASA SEDAC(CIESIN, 컬럼비아 대학교))
제공자
NASA SEDAC(CIESIN, 컬럼비아 대학교)
라이선스
CC BY 4.0
생산 연도
null; 인구조사 기반 추정치, 정적(2020)
해결
약 1 km 격자
불확실성
2020년 제곱킬로미터당 인구에 대한 인구총조사 기반 추정값으로 노출 맥락으로 표시되며, 어떤 재해로 영향받은 사람의 수가 아닙니다.
접근 경로
실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
증거
관측
출처
VIIRS Black Marble(VNP46A2)(NASA LAADS DAAC)
제공자
NASA LAADS DAAC
라이선스
NASA 공개 데이터
생산 연도
매일, 달빛과 대기를 보정한 위성 복사휘도
빌드 시점 최신
2026-10-12
해결
약 500 m 격자
불확실성
표시된 날짜의 위성 야간 복사휘도로, 불빛은 전력 사용과 정전의 대리 지표이며 공급이나 접근성의 측정치가 아닙니다.
접근 경로
실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
증거
관측
출처
VIIRS NOAA-20 보정 반사율(NASA LANCE)
제공자
NASA LANCE
라이선스
NASA 공개 데이터
생산 연도
매일, 위성 영상
빌드 시점 최신
2026-10-14
해결
약 250 m 격자
불확실성
위성 영상. 제공자가 게시한 그대로의 위성 또는 모형 래스터입니다. 구름, 관측 폭 공백, 산출 오차로 인해 빈틈과 잡음이 생기며, 값은 특정 장소의 측정치가 아니라 지표입니다.
접근 경로
실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
증거
모형 산출(GIBS가 게시한 최신 연도)
출처
MODIS Terra 및 Aqua 토지 피복(MCD12Q1)(NASA LP DAAC)
제공자
NASA LP DAAC
라이선스
NASA 공개 데이터
생산 연도
매년, 위성 분류, GIBS가 게시한 최신 연도
빌드 시점 최신
2024-01-01
해결
약 500 m 격자
불확실성
표시된 연도의 위성 토지 피복 분류로, 농경지를 포함합니다. 알려진 오차가 있는 분류이며 농장 등록부가 아닙니다.
접근 경로
실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
증거
관측(구름과 통과 시각으로 인해 빈틈이 생김)
출처
VIIRS NOAA-20 375 m(FIRMS)(NASA LANCE FIRMS)
제공자
NASA LANCE FIRMS
라이선스
NASA 공개 데이터
생산 연도
매일, 위성 탐지, 구름과 통과 시각으로 인해 빈틈이 생김
빌드 시점 최신
2026-10-13
해결
약 500 m 격자
불확실성
표시된 날짜의 위성 열점 탐지 결과로, 가스 플레어와 산업 열을 포함합니다. 확인된 화재, 사고 보고서 또는 경보가 아닙니다.
접근 경로
실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다

제공 가능한 최신

NASA GIBS / EOSDIS · ASTER GDEM (METI, NASA) · Blue Marble (NASA) · © OpenStreetMap 기여자 (ODbL) · Natural Earth

최신 NASA 이미지를 불러오는 중입니다.

끌어서 이동합니다. Ctrl 또는 ⌘를 누른 채 스크롤하거나 핀치 또는 버튼으로 확대합니다. 포인터 아래의 값은 마우스를 올려 확인하며, 초기화하면 해당 지역으로 돌아갑니다.

북미를 중심으로 본 재해와 노출.NASA가 게시한 그대로의 위성 및 모형 산출물로, 각각 고유한 날짜가 있습니다. 지표이며 어떤 장소에 대한 평가도 아닙니다.

데이터: NASA GIBS · ASTER GDEM · Blue Marble · © OpenStreetMap 기여자 · Natural Earth · NASA EONET · U.S. Geological Survey · NASA JPL OPERA DIST-ALERT출처와 라이선스

  • We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). NASA 공개 데이터
  • We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). NASA 공개 데이터
  • VIIRS 준실시간 산출물(홍수, 지표면 온도, 적설 피복, 보정 반사율), NASA LANCE; 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
  • Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). CC BY 4.0 라이선스. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). doi:10.7927/H49C6VHW. CC BY 4.0
  • VIIRS Black Marble 야간 조명, NASA 고다드 우주비행센터; NASA 레벨1 및 대기 아카이브·배포 시스템(LAADS DAAC)에서 배포; 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
  • MODIS 육상 산출물(식생 지수, 총일차생산량, 토지 피복), NASA LP DAAC 및 LANCE; 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
  • NASA 자원 관리용 화재 정보 시스템(FIRMS), VIIRS 375 m 활성 화재 산출물, NASA LANCE; 벡터 타일은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
  • ASTER GDEM은 METI와 NASA의 산출물입니다(ASTER Global Digital Elevation Model V003, NASA LP DAAC). 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). 인용: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. NASA 공개 데이터
  • Natural Earth으로 제작. 무료 벡터 및 래스터 지도 데이터 @ naturalearthdata.com. 퍼블릭 도메인
  • © OpenStreetMap 기여자(ODbL), NASA GIBS 경유(해안선, 경계, 도로 및 지명). 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). ODbL
  • Blue Marble, NASA Earth Observatory; 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
  • 지구본과 평면 지도의 맥락 정보: NASA GIBS 참조 레이어의 해안선, 경계, 도로, 지명(OpenStreetMap 데이터, ODbL, © OpenStreetMap 기여자). 선택 기본 지도로 Blue Marble 영상. 3D 지형과 고도 표시는 ASTER GDEM 고도 색상 지수(5 m에서 200 m 구간, 가독성을 위해 과장). 경계는 공표된 대로 그렸으며 어떤 영토에 대한 입장도 뜻하지 않습니다.
  • 실시간 사건: NASA 지구관측소 자연 사건 추적기(EONET). 사건은 참고용이며 원출처 링크를 그대로 유지합니다.
  • 실시간: NASA EONET. 사건은 참고용이며 당국의 경보가 아닙니다.
  • 실시간: 미국 지질조사국. 사건은 참고용이며 당국의 경보가 아닙니다.
  • Observed (EO): NASA JPL OPERA DIST-ALERT (contains modified Copernicus Sentinel data 2026). We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
  • NASA GIBS: We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
  • 하천 유량 예측, 범위를 포함한 30일 (Open-Meteo를 통한 GloFAS): 수정된 Copernicus 긴급상황관리서비스 정보 2026 포함. 홍수 경보가 아닙니다.
  • Open-Meteo.com (https://open-meteo.com/), 제공 날씨 데이터, CC BY 4.0 라이선스 (https://creativecommons.org/licenses/by/4.0/).
  • 선택 레이어(레이어 목록의 출처 11개: 실시간, 예보, 관측 및 배경)는 켜면 지도와 이곳에 제공자 출처가 표시됩니다. 예보는 모형 산출물이며 파생 지수는 추정치입니다.

레이어와 날짜

  • 홍수 수역, 3일 합성: VIIRS 전지구 홍수 산출물, NASA LANCE · 2026년 10월 14일
  • 인구 밀도, 2020년: 인구: CIESIN, 컬럼비아 대학교, 세계 격자 인구 v4.11(2018), NASA SEDAC, CC BY 4.0 · 정적
  • 야간 조명, 일별: VIIRS Black Marble(VNP46A2), NASA LAADS DAAC · 2026년 10월 12일
  • 트루컬러: VIIRS NOAA-20 보정 반사도, NASA LANCE · 2026년 10월 13일
  • 토지 피복 유형(IGBP), 연간: MODIS Terra 및 Aqua 토지 피복(MCD12Q1), NASA LP DAAC · 2024
  • 활성 화재 및 열 이상: VIIRS NOAA-20 375 m(FIRMS), NASA LANCE FIRMS · 2026년 10월 13일

04영역 전반

Validation must match the decision each domain faces.

Validation studies are designed for the 방법 및 기술 시리즈. ASME V&V 40, NASA-STD-7009 and Bayesian calibration (Kennedy and O’Hagan, 2001) set practice; 민감도 분석 is one of the five rules of Saltelli and colleagues (2020).

  • Validation datasets.
  • Documented model failures.
05트윈 및 캐스케이드 시뮬레이터

Model uncertainty and validation as a system. Run the cascade.

Assembled from the Nexus Standards area profile 복합 및 연쇄 재해 표준: the hazards it names, the 시스템 and sectors that carry the loss, the controls that dampen it and the data that observe it. Choose the components, pick an initiating hazard and step through the cascade. The Map view places the run on an example geography with open data. Every coupling weight is a stated assumption you can change. A teaching model, not a forecast, an assessment or a certification. To model a place of your own choosing, open the full System Builder.

재해

통제 수단

  • NS-0 헌장과 원칙
  • NS-3 리스크 기록 UNI(문법, 기존 체계 대응, 할당 권한)
  • NS-9 맥락 UNI(배치, 인스턴스, 프로그램 인스턴스)
  • NS-11 검증 및 모니터링(근거, 증명, 제로 트러스트 적합성 관찰)
  • NRS-H61 재해군: 연쇄 실패(NHS-1 sys.cascade)
  • NRS-H62 재해 유형: 복합 및 다중 재해 사건(NHS-1 sys.compound)
  • NRS-H60 재해 계열: 공급망 및 흐름 차질(NHS-1 sys.supply-chain)
  • NRS-H94 재해군: 시스템적 사이버 사건(NHS-1 cyber.systemic-cyber)
  • NRS-H107 재해군: 디지털 인프라 집중과 단일화(NHS-1 tech.digital-concentration)
  • NRS-H7 재해 계열: 대규모 순환 이상(NHS-1 atmo.climate-mode)

관측

  • Copernicus EMS rapid mapping activations (listed for reference)
  • OpenStreetMap planet and replication (listed for reference)
  • ERA5 재분석(Copernicus Climate Data Store)(참고용으로 게재)
  • 세계 GDP 대비 재난으로 인한 직접 경제 손실
  • Number of disruptions to basic services attributed to disasters

예시 지리

  • 방글라데시: 육각형 셀 134개
  • 오늘 밤 야간 조명과 정전(VIIRS 주야간 밴드), NASA GIBS
  • Carbon monoxide, smoke transport (AIRS), NASA GIBS
  • Vegetation disturbance alerts, 30 m (OPERA DIST-ALERT), NASA GIBS
06지표

측정되는 것과 그 정확도.

각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.

지표단위주기출처 유형라벨
Verification tests passedpercent of test suite배포마다Model test records관측
Validation error against independent dataerror metricper validationValidation studies추정
Prediction interval coveragepercent of observations inside stated intervalsper evaluationOut-of-sample evaluation관측
Sensitivity indicesshare of output variance by inputper analysis글로벌 민감도 분석모형 산출
Models with documented credibility assessment건수평가별Model documentation신고됨
Independent reviews completed건수per modelReview records보고됨
07방법과 근거

How uncertainty and validation is modelled, measured and tested.

모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.

모형, 방정식 및 가정

The model structure used for uncertainty and validation, the assumptions it makes and how each is tested.

요소 i의 리스크Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량
연간 기대 손실EAL = ∑k pk · Lk연간 확률이 pk
결합 시스템xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
가정만드는 이유시험 방법
한 사건 안에서 재해와 노출은 서로 독립적임손실 적분을 다루기 쉽게 유지함결합 기록에 적합한 코퓰러와 비교
결합은 운전점 근처에서 선형이다충격이 A를 통해 전파되게 함선형 범위를 넘어 섭동을 주고 비교하십시오
취약성 곡선은 장소 간에 옮겨 쓸 수 있다지역 곡선은 거의 없다관측된 손실이 있는 곳에서는 이에 대해 검증
투입 자료
출처 정보가 있는 버전 관리 데이터세트
산출물
분포이며 결코 단일 숫자가 아님
코드
모델 카드 및 시험과 함께 공개
재현
같은 데이터, 코드, 환경과 시드
표준 리스크 및 상태공간 정식화로, 나열된 가정은 해당 방법에 일반적인 것이며 검토를 위해 명시한 것으로 결과가 아닙니다.
FAIR 지침 원칙 · GO FAIR와 FORCE11W3C PROV · 월드 와이드 웹 컨소시엄불확실성의 일관된 처리에 관한 지침 · IPCCCEOS 분석 준비 데이터(Analysis Ready Data) · 지구관측위성위원회
08출처

근거의 출처.

이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.

출처제공하는 것라이선스 등급
ASME V&V 10, V&V 20 and V&V 40Verification, validation and credibility standardsLicensed standards, purchase required
NASA-STD-7009Credibility assessment of models and simulationsPublic domain, US government
IPCC uncertainty guidance note보정된 불확실성 표현Public, IPCC terms
SALib and other open 민감도 분석 librariesImplementations of global sensitivity methodsOpen source, MIT licence
Published validation studies in each fieldEvidence on model performanceLicence per publication
09결정

누가 결정하며 근거는 무엇에 쓰이는지.

시스템 Science and Modelling prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.

결정 주체질문이 페이지가 제공하는 근거
Model ownersWhether a model is fit for a stated purposeCredibility assessments; validation reports
Decision makersHow much weight to give model resultsUncertainty statements
Reviewers and auditorsWhether verification and validation were adequateProtocols and review records

이 주제가 생산하는 산출물

  • Verification and validation protocols for network models
  • Uncertainty statements in calibrated language
  • Credibility assessments for models used in decisions
  • Validation reports against independent data
10핵심 질문

What experts ask about uncertainty and validation.

  • Which sources of uncertainty matter most for the decision at hand?
  • How does uncertainty in inputs and parameters propagate to outputs?
  • What observations can test the model, and are they independent of calibration data?
  • How far beyond the calibration conditions can the model be trusted?
  • How should uncertainty be communicated to people who must act on it?
11메커니즘과 동인

Kinds of uncertainty and why calibration is not validation.

Modellers distinguish aleatory uncertainty, the inherent variability of a system, from epistemic uncertainty, which comes from incomplete knowledge and can in principle be reduced. Structural uncertainty, about whether the model’s equations are right, is often the largest and hardest to quantify. 심층 불확실성 arises when experts cannot agree even on probability distributions.

Calibration adjusts parameters so that a model matches observations. A well-calibrated model may still be wrong: many parameter combinations can fit the same data, a problem called equifinality, and a model tuned to past conditions may fail under new ones. Validation therefore requires tests against data not used in calibration, and ideally under different conditions.

Validation is purpose-specific. A model may be adequate for estimating averages but not extremes, or for one region but not another.

12방법과 데이터

방법과 그 한계.

  1. 01

    민감도 분석

    Identifying which inputs drive output variation. Global methods are computationally demanding.

  2. 02

    Probabilistic propagation

    Monte Carlo and related methods, using 확률과 통계. Results depend on assumed input distributions.

  3. 03

    Bayesian calibration

    Updating parameter beliefs with data and representing model discrepancy. Priors and discrepancy models involve judgement.

  4. 04

    Out-of-sample validation

    Testing against independent data, held-out periods or different locations. Suitable data are often scarce for extremes.

No validation proves a model correct. It establishes confidence for a purpose, within stated conditions.

15질문

질문과 답변.

What is the difference between verification and validation?
Verification asks whether the model is solved correctly, that the code does what it is meant to. Validation asks whether it is the right model for the purpose, by comparing it with reality.
Can a model be validated for the future?
Not directly. Models can be tested on past conditions and processes; confidence for new conditions rests on whether the model represents the underlying processes.
What is global sensitivity analysis?
A method that varies all uncertain inputs together to find which ones drive most of the variation in model outputs.
Can uncertainty always be quantified?
Not always. Under deep uncertainty, experts may not agree on probabilities, and other approaches such as scenario analysis are used. See 불확실성 아래의 최적화.
What is equifinality?
The situation in which different parameter sets produce equally good fits to observations, so calibration cannot identify the true values.
Does GCRI validate models for regulators?
No. GCRI does not certify. Its method notes describe how validation can be done.
Why is calibration not enough?
Because matching past data does not show that a model will perform under new conditions or for different outputs.
보고서기여하기

이 페이지에서 증거를 기여하십시오.

보고서 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRI시스템 과학과 모델링방법 및 기술시나리오 및 스트레스 테스트
시스템 과학과 모델링

방법, 데이터세트 또는 질문을 가져오십시오.

정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.