GCRI · 시스템 과학과 모델링
불확실성과 검증
A model result is useful only when its uncertainty is stated and its fitness for a purpose has been tested. Verification checks that the code solves the equations intended; validation checks that the model represents the real system well enough for the decision at hand. This page sets out how uncertainty is quantified and models are verified and validated, and what evidence serves the decision makers who rely on model results.
일이 진행되는 방식.
결합 모델 실행기
Uncertainty and validation · Coupled model A · Scenario set 3
모델 결합 그래프
노드: 모형 · 간선: 교환되는 변수
결합된 구성 요소
| 수문학 | 1 day | 유출 | 예 |
| 전력 시스템 | 1 h | 수요, 정전 | 예 |
| 경제 | 1분기 | 산출, 가격 | 부분 |
| 인구 | 1 year | 노출 | 예 |
앙상블 출력
그림Coupled model runner: example names and illustrative values, not a record or a live system.
Uncertainty and validation: how the risk develops.
Quantifying uncertainty, validation against observations and the limits of calibration. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Verification precedes validation
Before asking whether a model matches reality, modellers check that the code is correct, through tests, convergence studies and comparison with known solutions.
Validation is purpose-specific
A model valid for one question may be invalid for another. Validation is judged against the accuracy a specific decision needs.
Uncertainty has several sources
Input data, parameters, model structure, numerical error and natural variability each contribute, and each needs a different treatment.
Calibration can hide error
Tuning parameters to match past data can make a model fit for the wrong reasons, so validation needs data not used in calibration.
북미의 재해와 노출.
Flood water, population density and night lights over North America, from NASA GIBS. Each layer carries its own date.
대화형 지도에는 JavaScript가 필요합니다. 레이어 목록과 출처는 아래에 있습니다.
레이어 3
이 페이지의 재해와 노출
이 레이어 소개
- 증거
- 관측(구름이 있으면 빈틈이 생김)
- 출처
- VIIRS 글로벌 홍수 산출물(NASA LANCE)
- 제공자
- NASA LANCE
- 라이선스
- NASA 공개 데이터
- 생산 연도
- 매일, 위성 탐지, 구름이 있으면 빈틈이 생김
- 빌드 시점 최신
- 2026-10-14
- 해결
- 약 250 m 격자
- 불확실성
- 위성 탐지로, 구름이 있으면 빈틈이 생깁니다. 제공자가 게시한 그대로의 위성 또는 모형 래스터입니다. 구름, 관측 폭 공백, 산출 오차로 인해 빈틈과 잡음이 생기며, 값은 특정 장소의 측정치가 아니라 지표입니다.
- 접근 경로
- 실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
- 증거
- 추정
- 출처
- 세계 격자 인구 v4.11(NASA SEDAC(CIESIN, 컬럼비아 대학교))
- 제공자
- NASA SEDAC(CIESIN, 컬럼비아 대학교)
- 라이선스
- CC BY 4.0
- 생산 연도
- null; 인구조사 기반 추정치, 정적(2020)
- 해결
- 약 1 km 격자
- 불확실성
- 2020년 제곱킬로미터당 인구에 대한 인구총조사 기반 추정값으로 노출 맥락으로 표시되며, 어떤 재해로 영향받은 사람의 수가 아닙니다.
- 접근 경로
- 실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
- 증거
- 관측
- 출처
- VIIRS Black Marble(VNP46A2)(NASA LAADS DAAC)
- 제공자
- NASA LAADS DAAC
- 라이선스
- NASA 공개 데이터
- 생산 연도
- 매일, 달빛과 대기를 보정한 위성 복사휘도
- 빌드 시점 최신
- 2026-10-12
- 해결
- 약 500 m 격자
- 불확실성
- 표시된 날짜의 위성 야간 복사휘도로, 불빛은 전력 사용과 정전의 대리 지표이며 공급이나 접근성의 측정치가 아닙니다.
- 접근 경로
- 실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
- 증거
- 관측
- 출처
- VIIRS NOAA-20 보정 반사율(NASA LANCE)
- 제공자
- NASA LANCE
- 라이선스
- NASA 공개 데이터
- 생산 연도
- 매일, 위성 영상
- 빌드 시점 최신
- 2026-10-14
- 해결
- 약 250 m 격자
- 불확실성
- 위성 영상. 제공자가 게시한 그대로의 위성 또는 모형 래스터입니다. 구름, 관측 폭 공백, 산출 오차로 인해 빈틈과 잡음이 생기며, 값은 특정 장소의 측정치가 아니라 지표입니다.
- 접근 경로
- 실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
- 증거
- 모형 산출(GIBS가 게시한 최신 연도)
- 출처
- MODIS Terra 및 Aqua 토지 피복(MCD12Q1)(NASA LP DAAC)
- 제공자
- NASA LP DAAC
- 라이선스
- NASA 공개 데이터
- 생산 연도
- 매년, 위성 분류, GIBS가 게시한 최신 연도
- 빌드 시점 최신
- 2024-01-01
- 해결
- 약 500 m 격자
- 불확실성
- 표시된 연도의 위성 토지 피복 분류로, 농경지를 포함합니다. 알려진 오차가 있는 분류이며 농장 등록부가 아닙니다.
- 접근 경로
- 실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
이 레이어 소개
- 증거
- 관측(구름과 통과 시각으로 인해 빈틈이 생김)
- 출처
- VIIRS NOAA-20 375 m(FIRMS)(NASA LANCE FIRMS)
- 제공자
- NASA LANCE FIRMS
- 라이선스
- NASA 공개 데이터
- 생산 연도
- 매일, 위성 탐지, 구름과 통과 시각으로 인해 빈틈이 생김
- 빌드 시점 최신
- 2026-10-13
- 해결
- 약 500 m 격자
- 불확실성
- 표시된 날짜의 위성 열점 탐지 결과로, 가스 플레어와 산업 열을 포함합니다. 확인된 화재, 사고 보고서 또는 경보가 아닙니다.
- 접근 경로
- 실시간 지도를 허용한 뒤에만 gibs.earthdata.nasa.gov에 접속합니다
키보드, 지도에 초점이 있을 때
Ctrl 또는 ⌘를 누른 채 스크롤하여 확대
제공 가능한 최신
NASA GIBS / EOSDIS · ASTER GDEM (METI, NASA) · Blue Marble (NASA) · © OpenStreetMap 기여자 (ODbL) · Natural Earth
최신 NASA 이미지를 불러오는 중입니다.
끌어서 이동합니다. Ctrl 또는 ⌘를 누른 채 스크롤하거나 핀치 또는 버튼으로 확대합니다. 포인터 아래의 값은 마우스를 올려 확인하며, 초기화하면 해당 지역으로 돌아갑니다.
북미를 중심으로 본 재해와 노출.NASA가 게시한 그대로의 위성 및 모형 산출물로, 각각 고유한 날짜가 있습니다. 지표이며 어떤 장소에 대한 평가도 아닙니다.
데이터: NASA GIBS · ASTER GDEM · Blue Marble · © OpenStreetMap 기여자 · Natural Earth · NASA EONET · U.S. Geological Survey · NASA JPL OPERA DIST-ALERT출처와 라이선스
- We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). NASA 공개 데이터
- We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). NASA 공개 데이터
- VIIRS 준실시간 산출물(홍수, 지표면 온도, 적설 피복, 보정 반사율), NASA LANCE; 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
- Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). CC BY 4.0 라이선스. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). doi:10.7927/H49C6VHW. CC BY 4.0
- VIIRS Black Marble 야간 조명, NASA 고다드 우주비행센터; NASA 레벨1 및 대기 아카이브·배포 시스템(LAADS DAAC)에서 배포; 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
- MODIS 육상 산출물(식생 지수, 총일차생산량, 토지 피복), NASA LP DAAC 및 LANCE; 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
- NASA 자원 관리용 화재 정보 시스템(FIRMS), VIIRS 375 m 활성 화재 산출물, NASA LANCE; 벡터 타일은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
- ASTER GDEM은 METI와 NASA의 산출물입니다(ASTER Global Digital Elevation Model V003, NASA LP DAAC). 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). 인용: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. NASA 공개 데이터
- Natural Earth으로 제작. 무료 벡터 및 래스터 지도 데이터 @ naturalearthdata.com. 퍼블릭 도메인
- © OpenStreetMap 기여자(ODbL), NASA GIBS 경유(해안선, 경계, 도로 및 지명). 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). ODbL
- Blue Marble, NASA Earth Observatory; 영상은 NASA GIBS 제공. 색상은 공개된 색상표에서 다시 그렸으며, 표시된 곳의 값은 육각형 셀로 평균했습니다(수정됨). NASA 공개 데이터
- 지구본과 평면 지도의 맥락 정보: NASA GIBS 참조 레이어의 해안선, 경계, 도로, 지명(OpenStreetMap 데이터, ODbL, © OpenStreetMap 기여자). 선택 기본 지도로 Blue Marble 영상. 3D 지형과 고도 표시는 ASTER GDEM 고도 색상 지수(5 m에서 200 m 구간, 가독성을 위해 과장). 경계는 공표된 대로 그렸으며 어떤 영토에 대한 입장도 뜻하지 않습니다.
- 실시간 사건: NASA 지구관측소 자연 사건 추적기(EONET). 사건은 참고용이며 원출처 링크를 그대로 유지합니다.
- 실시간: NASA EONET. 사건은 참고용이며 당국의 경보가 아닙니다.
- 실시간: 미국 지질조사국. 사건은 참고용이며 당국의 경보가 아닙니다.
- Observed (EO): NASA JPL OPERA DIST-ALERT (contains modified Copernicus Sentinel data 2026). We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
- NASA GIBS: We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
- 하천 유량 예측, 범위를 포함한 30일 (Open-Meteo를 통한 GloFAS): 수정된 Copernicus 긴급상황관리서비스 정보 2026 포함. 홍수 경보가 아닙니다.
- Open-Meteo.com (https://open-meteo.com/), 제공 날씨 데이터, CC BY 4.0 라이선스 (https://creativecommons.org/licenses/by/4.0/).
- 선택 레이어(레이어 목록의 출처 11개: 실시간, 예보, 관측 및 배경)는 켜면 지도와 이곳에 제공자 출처가 표시됩니다. 예보는 모형 산출물이며 파생 지수는 추정치입니다.
레이어와 날짜
- 홍수 수역, 3일 합성: VIIRS 전지구 홍수 산출물, NASA LANCE · 2026년 10월 14일
- 인구 밀도, 2020년: 인구: CIESIN, 컬럼비아 대학교, 세계 격자 인구 v4.11(2018), NASA SEDAC, CC BY 4.0 · 정적
- 야간 조명, 일별: VIIRS Black Marble(VNP46A2), NASA LAADS DAAC · 2026년 10월 12일
- 트루컬러: VIIRS NOAA-20 보정 반사도, NASA LANCE · 2026년 10월 13일
- 토지 피복 유형(IGBP), 연간: MODIS Terra 및 Aqua 토지 피복(MCD12Q1), NASA LP DAAC · 2024
- 활성 화재 및 열 이상: VIIRS NOAA-20 375 m(FIRMS), NASA LANCE FIRMS · 2026년 10월 13일
Validation must match the decision each domain faces.
Validation studies are designed for the 방법 및 기술 시리즈. ASME V&V 40, NASA-STD-7009 and Bayesian calibration (Kennedy and O’Hagan, 2001) set practice; 민감도 분석 is one of the five rules of Saltelli and colleagues (2020).
- Validation datasets.
- Documented model failures.
Model uncertainty and validation as a system. Run the cascade.
Assembled from the Nexus Standards area profile 복합 및 연쇄 재해 표준: the hazards it names, the 시스템 and sectors that carry the loss, the controls that dampen it and the data that observe it. Choose the components, pick an initiating hazard and step through the cascade. The Map view places the run on an example geography with open data. Every coupling weight is a stated assumption you can change. A teaching model, not a forecast, an assessment or a certification. To model a place of your own choosing, open the full System Builder.
재해
- Natech event
- Chemical spill or leak (하류에서 유발)
- Emergency-response overload (하류에서 유발)
- Toxic gas release (set off downstream)
- Industrial fire (set off downstream)
시스템과 결합
- 복합 및 연쇄 재해 표준
- 수문기상 재해 표준 Compounding
- 지구물리 재해 표준 Triggering
- 핵심 인프라와 핵심 주체 캐스케이드
- 글로벌 및 시스템 리스크 메커니즘
통제 수단
NS-0헌장과 원칙NS-3리스크 기록 UNI(문법, 기존 체계 대응, 할당 권한)NS-9맥락 UNI(배치, 인스턴스, 프로그램 인스턴스)NS-11검증 및 모니터링(근거, 증명, 제로 트러스트 적합성 관찰)NRS-H61재해군: 연쇄 실패(NHS-1 sys.cascade)NRS-H62재해 유형: 복합 및 다중 재해 사건(NHS-1 sys.compound)NRS-H60재해 계열: 공급망 및 흐름 차질(NHS-1 sys.supply-chain)NRS-H94재해군: 시스템적 사이버 사건(NHS-1 cyber.systemic-cyber)NRS-H107재해군: 디지털 인프라 집중과 단일화(NHS-1 tech.digital-concentration)NRS-H7재해 계열: 대규모 순환 이상(NHS-1 atmo.climate-mode)
관측
- Copernicus EMS rapid mapping activations (listed for reference)
- OpenStreetMap planet and replication (listed for reference)
- ERA5 재분석(Copernicus Climate Data Store)(참고용으로 게재)
- 세계 GDP 대비 재난으로 인한 직접 경제 손실
- Number of disruptions to basic services attributed to disasters
예시 지리
- 방글라데시: 육각형 셀 134개
- 오늘 밤 야간 조명과 정전(VIIRS 주야간 밴드), NASA GIBS
- Carbon monoxide, smoke transport (AIRS), NASA GIBS
- Vegetation disturbance alerts, 30 m (OPERA DIST-ALERT), NASA GIBS
측정되는 것과 그 정확도.
각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.
| 지표 | 단위 | 주기 | 출처 유형 | 라벨 |
|---|---|---|---|---|
| Verification tests passed | percent of test suite | 배포마다 | Model test records | 관측 |
| Validation error against independent data | error metric | per validation | Validation studies | 추정 |
| Prediction interval coverage | percent of observations inside stated intervals | per evaluation | Out-of-sample evaluation | 관측 |
| Sensitivity indices | share of output variance by input | per analysis | 글로벌 민감도 분석 | 모형 산출 |
| Models with documented credibility assessment | 건수 | 평가별 | Model documentation | 신고됨 |
| Independent reviews completed | 건수 | per model | Review records | 보고됨 |
How uncertainty and validation is modelled, measured and tested.
모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.
모형, 방정식 및 가정
The model structure used for uncertainty and validation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량EAL = ∑k pk · Lk연간 확률이 pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 가정 | 만드는 이유 | 시험 방법 |
|---|---|---|
| 한 사건 안에서 재해와 노출은 서로 독립적임 | 손실 적분을 다루기 쉽게 유지함 | 결합 기록에 적합한 코퓰러와 비교 |
| 결합은 운전점 근처에서 선형이다 | 충격이 A를 통해 전파되게 함 | 선형 범위를 넘어 섭동을 주고 비교하십시오 |
| 취약성 곡선은 장소 간에 옮겨 쓸 수 있다 | 지역 곡선은 거의 없다 | 관측된 손실이 있는 곳에서는 이에 대해 검증 |
- 투입 자료
- 출처 정보가 있는 버전 관리 데이터세트
- 산출물
- 분포이며 결코 단일 숫자가 아님
- 코드
- 모델 카드 및 시험과 함께 공개
- 재현
- 같은 데이터, 코드, 환경과 시드
근거의 출처.
이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.
| 출처 | 제공하는 것 | 라이선스 등급 |
|---|---|---|
| ASME V&V 10, V&V 20 and V&V 40 | Verification, validation and credibility standards | Licensed standards, purchase required |
| NASA-STD-7009 | Credibility assessment of models and simulations | Public domain, US government |
| IPCC uncertainty guidance note | 보정된 불확실성 표현 | Public, IPCC terms |
| SALib and other open 민감도 분석 libraries | Implementations of global sensitivity methods | Open source, MIT licence |
| Published validation studies in each field | Evidence on model performance | Licence per publication |
누가 결정하며 근거는 무엇에 쓰이는지.
시스템 Science and Modelling prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| 결정 주체 | 질문 | 이 페이지가 제공하는 근거 |
|---|---|---|
| Model owners | Whether a model is fit for a stated purpose | Credibility assessments; validation reports |
| Decision makers | How much weight to give model results | Uncertainty statements |
| Reviewers and auditors | Whether verification and validation were adequate | Protocols and review records |
이 주제가 생산하는 산출물
- Verification and validation protocols for network models
- Uncertainty statements in calibrated language
- Credibility assessments for models used in decisions
- Validation reports against independent data
What experts ask about uncertainty and validation.
- Which sources of uncertainty matter most for the decision at hand?
- How does uncertainty in inputs and parameters propagate to outputs?
- What observations can test the model, and are they independent of calibration data?
- How far beyond the calibration conditions can the model be trusted?
- How should uncertainty be communicated to people who must act on it?
Kinds of uncertainty and why calibration is not validation.
Modellers distinguish aleatory uncertainty, the inherent variability of a system, from epistemic uncertainty, which comes from incomplete knowledge and can in principle be reduced. Structural uncertainty, about whether the model’s equations are right, is often the largest and hardest to quantify. 심층 불확실성 arises when experts cannot agree even on probability distributions.
Calibration adjusts parameters so that a model matches observations. A well-calibrated model may still be wrong: many parameter combinations can fit the same data, a problem called equifinality, and a model tuned to past conditions may fail under new ones. Validation therefore requires tests against data not used in calibration, and ideally under different conditions.
Validation is purpose-specific. A model may be adequate for estimating averages but not extremes, or for one region but not another.
방법과 그 한계.
- 01
민감도 분석
Identifying which inputs drive output variation. Global methods are computationally demanding.
- 02
Probabilistic propagation
Monte Carlo and related methods, using 확률과 통계. Results depend on assumed input distributions.
- 03
Bayesian calibration
Updating parameter beliefs with data and representing model discrepancy. Priors and discrepancy models involve judgement.
- 04
Out-of-sample validation
Testing against independent data, held-out periods or different locations. Suitable data are often scarce for extremes.
No validation proves a model correct. It establishes confidence for a purpose, within stated conditions.
연구되는 방식과 방법이 말할 수 없는 것.
Where this page’s references lead.
이 페이지를 읽을 때 기준이 되는 기구와 문서. 상태와 판은 바뀌며, 각 링크는 발행 기구로 연결됩니다.
- ASME V&V 40-2018, assessing credibility of computational modelling (ASME)
- NASA-STD-7009, 모델 및 시뮬레이션 표준(NASA)
- Kennedy and O’Hagan, Bayesian calibration of computer models, Journal of the Royal Statistical Society Series B 63 (2001)
- Saltelli and others, Five ways to ensure that models serve society: a manifesto, Nature 582 (2020)
질문과 답변.
What is the difference between verification and validation?
Can a model be validated for the future?
What is global sensitivity analysis?
Can uncertainty always be quantified?
What is equifinality?
Does GCRI validate models for regulators?
Why is calibration not enough?
이 페이지에서 증거를 기여하십시오.
보고서 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- 이메일게이트웨이 GW-GCRI이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- Zenodo개방형 예치기탁하고 커뮤니티에 제출하기ORCID iD로 Zenodo에 직접 기록을 게시한 뒤, 그곳의 Reports 커뮤니티에 제출하십시오. 큐레이터가 검토하며, DOI는 귀하의 것으로 남습니다.
- 보고서GCRI모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
방법, 데이터세트 또는 질문을 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.