GCRI · Системная наука и моделирование
Неопределённость и валидация
A model result is useful only when its uncertainty is stated and its fitness for a purpose has been tested. Verification checks that the code solves the equations intended; validation checks that the model represents the real system well enough for the decision at hand. This page sets out how uncertainty is quantified and models are verified and validated, and what evidence serves the decision makers who rely on model results.
Как ведётся работа.
Запуск связанных моделей
Uncertainty and validation · Coupled model A · Scenario set 3
Граф связей моделей
узлы: модели · рёбра: обмениваемые переменные
Связанные компоненты
| Гидрология | 1 день | сток | Да |
| Энергосистема | 1 h | спрос, отключения | Да |
| Экономика | 1 квартал | выпуск, цены | Частично |
| Население | 1 год | подверженность | Да |
Результат ансамбля
Рис.Coupled model runner: example names and illustrative values, not a record or a live system.
Uncertainty and validation: how the risk develops.
Quantifying uncertainty, validation against observations and the limits of calibration. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Verification precedes validation
Before asking whether a model matches reality, modellers check that the code is correct, through tests, convergence studies and comparison with known solutions.
Validation is purpose-specific
A model valid for one question may be invalid for another. Validation is judged against the accuracy a specific decision needs.
Uncertainty has several sources
Input data, parameters, model structure, numerical error and natural variability each contribute, and each needs a different treatment.
Calibration can hide error
Tuning parameters to match past data can make a model fit for the wrong reasons, so validation needs data not used in calibration.
Опасные явления и подверженность в Северной Америке.
Flood water, population density and night lights over North America, from NASA GIBS. Each layer carries its own date.
Для интерактивной карты нужен JavaScript. Список слоёв и источники приведены ниже.
Слои 3
Опасные явления и подверженность для этой страницы
Об этом слое
- Доказательная база
- Наблюдаемые данные (облачность оставляет пропуски)
- Источник
- Глобальный продукт по паводкам VIIRS (NASA LANCE)
- Поставщик
- NASA LANCE
- Лицензия
- Открытые данные NASA
- Год выпуска
- ежедневно; спутниковое обнаружение; облачность оставляет пропуски
- Новейшие на момент сборки
- 2026-10-14
- Разрешение
- сетка около 250 м
- Неопределённость
- Спутниковое обнаружение; облачность оставляет пропуски. Спутниковый или модельный растр в том виде, в каком его публикует поставщик. Облачность, пропуски в полосе обзора и ошибки восстановления параметров оставляют пропуски и шум; значения являются показателями, а не измерениями в конкретном месте.
- Доступно через
- gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Об этом слое
- Доказательная база
- Оценка
- Источник
- Gridded Population of the World v4.11 (NASA SEDAC (CIESIN, Колумбийский университет))
- Поставщик
- NASA SEDAC (CIESIN, Колумбийский университет)
- Лицензия
- CC BY 4.0
- Год выпуска
- null; оценка на основе переписи, статическая (2020)
- Разрешение
- сетка около 1 км
- Неопределённость
- Оценка на основе переписи числа людей на квадратный километр в 2020 году, показанная как контекст подверженности; не является подсчётом людей, пострадавших от какой-либо опасности.
- Доступно через
- gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Об этом слое
- Доказательная база
- Наблюдаемые данные
- Источник
- VIIRS Black Marble (VNP46A2) (NASA LAADS DAAC)
- Поставщик
- NASA LAADS DAAC
- Лицензия
- Открытые данные NASA
- Год выпуска
- ежедневно; спутниковая яркость с поправкой на лунный свет и атмосферу
- Новейшие на момент сборки
- 2026-10-12
- Разрешение
- сетка около 500 м
- Неопределённость
- Спутниковая ночная яркость на указанную дату; освещённость служит косвенным показателем потребления электроэнергии и отключений, а не измерением поставок или доступа.
- Доступно через
- gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Об этом слое
- Доказательная база
- Наблюдаемые данные
- Источник
- Скорректированная отражательная способность VIIRS NOAA-20 (NASA LANCE)
- Поставщик
- NASA LANCE
- Лицензия
- Открытые данные NASA
- Год выпуска
- ежедневно; спутниковое изображение
- Новейшие на момент сборки
- 2026-10-14
- Разрешение
- сетка около 250 м
- Неопределённость
- Спутниковое изображение. Спутниковый или модельный растр в том виде, в каком его публикует поставщик. Облачность, пропуски в полосе обзора и ошибки восстановления параметров оставляют пропуски и шум; значения являются показателями, а не измерениями в конкретном месте.
- Доступно через
- gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Об этом слое
- Доказательная база
- Смоделировано (последний год, публикуемый GIBS)
- Источник
- Земной покров MODIS Terra и Aqua (MCD12Q1) (NASA LP DAAC)
- Поставщик
- NASA LP DAAC
- Лицензия
- Открытые данные NASA
- Год выпуска
- ежегодно; спутниковая классификация; последний год, публикуемый GIBS
- Новейшие на момент сборки
- 2024-01-01
- Разрешение
- сетка около 500 м
- Неопределённость
- Спутниковые классы земного покрова за указанный год, включая пахотные земли; классификация с известными ошибками, а не реестр ферм.
- Доступно через
- gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Об этом слое
- Доказательная база
- Наблюдаемые данные (облачность и время пролёта спутника оставляют пропуски)
- Источник
- VIIRS NOAA-20 375 м (FIRMS) (NASA LANCE FIRMS)
- Поставщик
- NASA LANCE FIRMS
- Лицензия
- Открытые данные NASA
- Год выпуска
- ежедневно; спутниковое обнаружение; облачность и время пролёта спутника оставляют пропуски
- Новейшие на момент сборки
- 2026-10-13
- Разрешение
- сетка около 500 м
- Неопределённость
- Спутниковые обнаружения горячих точек за указанный день, включая газовые факелы и промышленное тепло; это не подтверждённый пожар, не донесение об инциденте и не предупреждение.
- Доступно через
- gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Клавиатура при фокусе на карте
Удерживайте Ctrl или ⌘ и прокручивайте для масштабирования
Последние доступные
NASA GIBS / EOSDIS · ASTER GDEM (METI, NASA) · Blue Marble (NASA) · © участники OpenStreetMap (ODbL) · Natural Earth
Загрузка последних снимков NASA.
Перетаскивайте для перемещения. Для масштабирования используйте Ctrl или ⌘ с прокруткой, жест щипка или кнопки; наведите курсор, чтобы увидеть значения под указателем; сброс возвращает к региону.
Опасные явления и подверженность в Северной Америке.Спутниковые и модельные продукты в том виде, в каком их публикует NASA, каждый со своей датой. Это показатели, а не оценки какого-либо места.
Данные: NASA GIBS · ASTER GDEM · Blue Marble · © участники OpenStreetMap · Natural Earth · NASA EONET · U.S. Geological Survey · NASA JPL OPERA DIST-ALERTИсточники и лицензии
- We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). Открытые данные NASA
- We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). Открытые данные NASA
- Продукты VIIRS почти реального времени (наводнения, температура поверхности суши, снежный покров, скорректированная отражательная способность), NASA LANCE; изображения через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале; там, где показано, значения усреднены по шестиугольным ячейкам (изменено). Открытые данные NASA
- Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). Лицензия CC BY 4.0. Цвета перерисованы по опубликованной цветовой шкале; там, где показано, значения усреднены по шестиугольным ячейкам (изменено). doi:10.7927/H49C6VHW. CC BY 4.0
- Ночные огни VIIRS Black Marble, Центр космических полётов имени Годдарда NASA; распространяются Системой архивирования и распространения данных NASA уровня 1 и атмосферы (LAADS DAAC); изображения через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале; значения усреднены по шестиугольным ячейкам там, где они показаны (изменено). Открытые данные NASA
- Продукты MODIS по суше (вегетационные индексы, валовая первичная продукция, земной покров), NASA LP DAAC и LANCE; изображения через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале; там, где показано, значения усреднены по шестиугольным ячейкам (изменено). Открытые данные NASA
- NASA Fire Information for Resource Management System (FIRMS), продукт VIIRS по активным пожарам с разрешением 375 м, NASA LANCE; векторные плитки через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале; там, где показано, значения усреднены по шестиугольным ячейкам (изменено). Открытые данные NASA
- ASTER GDEM является продуктом METI и NASA (ASTER Global Digital Elevation Model V003, NASA LP DAAC); изображения через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале; там, где показано, значения усреднены по шестиугольным ячейкам (изменено). Ссылка: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. Открытые данные NASA
- Создано с использованием Natural Earth. Бесплатные векторные и растровые картографические данные @ naturalearthdata.com. Общественное достояние
- © участники OpenStreetMap (ODbL), через NASA GIBS (береговые линии, границы, дороги и названия мест). Цвета перерисованы по опубликованной цветовой шкале; значения, где показано, усреднены по шестиугольным ячейкам (изменено). ODbL
- Blue Marble, NASA Earth Observatory; изображения через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале; там, где показано, значения усреднены по шестиугольным ячейкам (изменено). Открытые данные NASA
- Контекст на глобусе и плоской карте: береговые линии, границы, дороги и названия мест из справочных слоёв NASA GIBS (данные OpenStreetMap, ODbL, © участники OpenStreetMap); снимки Blue Marble как дополнительная подложка; 3D-рельеф и показания высоты по цветовому индексу высот ASTER GDEM (классы от 5 м до 200 м, с преувеличением для наглядности). Границы показаны в опубликованном виде и не выражают позиции в отношении какой-либо территории.
- События в реальном времени: NASA Earth Observatory Natural Event Tracker (EONET). События носят ориентировочный характер и сохраняют ссылки на первоначальный источник.
- Текущие данные: события NASA EONET носят ориентировочный характер и не являются официальными предупреждениями.
- Текущие данные: события Геологической службы США носят ориентировочный характер и не являются официальными предупреждениями.
- Observed (EO): NASA JPL OPERA DIST-ALERT (contains modified Copernicus Sentinel data 2026). We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
- NASA GIBS: We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
- Прогноз речного стока на 30 дней с диапазоном (GloFAS через Open-Meteo): содержит изменённую информацию Copernicus Emergency Management Service 2026; не является предупреждением о наводнении.
- Данные о погоде предоставлены Open-Meteo.com (https://open-meteo.com/), лицензия CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/).
- Дополнительные слои (источников в списке слоёв: 11; оперативные, прогнозные, наблюдаемые и контекстные) при включении указывают своего поставщика на карте и здесь; прогнозы представляют собой результаты моделей, а производные индексы являются оценками.
Слои и даты
- Паводковые воды, 3-дневный композит: VIIRS Global Flood Product, NASA LANCE · 14 окт. 2026
- Плотность населения, 2020: население: CIESIN, Колумбийский университет, Gridded Population of the World v4.11 (2018), NASA SEDAC, CC BY 4.0 · статично
- Ночное освещение, ежедневно: VIIRS Black Marble (VNP46A2), NASA LAADS DAAC · 12 окт. 2026
- Естественные цвета: скорректированная отражательная способность VIIRS NOAA-20, NASA LANCE · 13 окт. 2026
- Тип земного покрова (IGBP), ежегодно: MODIS Terra and Aqua land cover (MCD12Q1), NASA LP DAAC · 2024
- Активные пожары и термические аномалии: VIIRS NOAA-20 375 м (FIRMS), NASA LANCE FIRMS · 13 окт. 2026
Validation must match the decision each domain faces.
Validation studies are designed for the серию «Методы и техника». ASME V&V 40, NASA-STD-7009 and Bayesian calibration (Kennedy and O’Hagan, 2001) set practice; анализа чувствительности is one of the five rules of Saltelli and colleagues (2020).
- Validation datasets.
- Documented model failures.
Model uncertainty and validation as a system. Run the cascade.
Составлена на основе профиля области Nexus Standards профиль территории Стандарты в отношении комбинированных и каскадных опасностей: названные в нём опасные явления, системы и секторы, которые несут ущерб, меры, которые его смягчают, и данные, которые за ним наблюдают. Выберите компоненты, укажите исходное опасное явление и пройдите каскад шаг за шагом. Вид «Карта» помещает прогон на примерную географию с открытыми данными. Вес каждой связи это заявленное допущение, которое можно изменить. Учебная модель, а не прогноз, не оценка и не сертификация. Чтобы смоделировать выбранное вами место, откройте полный Конструктор систем.
Опасности
- Natech-событие
- Разлив или утечка химических веществ (вызванный ниже по цепочке)
- Emergency-response overload (вызванный ниже по цепочке)
- Выброс токсичного газа (запущен ниже по цепочке)
- Промышленный пожар (запущен ниже по цепочке)
Системы и связи
Меры контроля
NS-0Устав и принципыNS-3UNI записей о рисках (грамматика, сопоставление с прежней системой, полномочия на присвоение)NS-9Контекстные UNI (развертывания, экземпляры, экземпляры программ)NS-11Верификация и мониторинг (доказательства, подтверждения, наблюдение за соответствием принципу нулевого доверия)NRS-H61Семейство опасностей: каскадный отказ (NHS-1 sys.cascade)NRS-H62Семейство опасностей: сложные и многофакторные события (NHS-1 sys.compound)NRS-H60Семейство опасностей: нарушения цепочек поставок и потоков (NHS-1 sys.supply-chain)NRS-H94Семейство опасных явлений: системные киберсобытия (NHS-1 cyber.systemic-cyber)NRS-H107Семейство опасностей: концентрация и монокультура цифровой инфраструктуры (NHS-1 tech.digital-concentration)NRS-H7Семейство опасностей: аномалии крупномасштабной циркуляции (NHS-1 atmo.climate-mode)
Наблюдение
- Активации оперативного картографирования Copernicus EMS (приведены для справки)
- OpenStreetMap planet и репликация (приведены для справки)
- Реанализ ERA5 (Copernicus Climate Data Store) (приведен для справки)
- Прямой экономический ущерб от бедствий по отношению к мировому ВВП
- Число перебоев в предоставлении базовых услуг, вызванных бедствиями
Пример географии
- Бангладеш: 134 шестиугольные ячейки
- Ночные огни сегодня, отключения (VIIRS Day/Night Band), NASA GIBS
- Угарный газ, перенос дыма (AIRS), NASA GIBS
- Оповещения о нарушениях растительного покрова, 30 м (OPERA DIST-ALERT), NASA GIBS
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Verification tests passed | percent of test suite | на выпуск | Model test records | НАБЛЮДАЕМО |
| Validation error against independent data | error metric | per validation | Validation studies | ОЦЕНЕНО |
| Prediction interval coverage | percent of observations inside stated intervals | per evaluation | Out-of-sample evaluation | НАБЛЮДАЕМО |
| Sensitivity indices | share of output variance by input | per analysis | Глобальный уровень анализа чувствительности | СМОДЕЛИРОВАНО |
| Models with documented credibility assessment | количество | на каждую оценку | Model documentation | ЗАДЕКЛАРИРОВАНО |
| Independent reviews completed | количество | per model | Review records | СООБЩЕНО |
How uncertainty and validation is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Модель, уравнения и допущения
The model structure used for uncertainty and validation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагированияEAL = ∑k pk · Lkпо событиям k с годовой вероятностью pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Допущение | Зачем это создаётся | Как это проверяется |
|---|---|---|
| В пределах события опасность и подверженность независимы | Делает интеграл убытков вычислимым | Сравнить с подгонкой копулы по совместным записям |
| Вблизи рабочей точки связи линейны | Позволяет потрясениям распространяться через A | Выйдите за пределы линейного диапазона и сравните |
| Кривые уязвимости переносятся между местами | Местные кривые редко доступны | Проверять по наблюдаемым убыткам там, где они есть |
- Исходные данные
- версионированные наборы данных с указанием происхождения
- Результаты
- распределения, а не отдельные числа
- Код
- выпускается вместе с карточкой модели и тестами
- Воспроизведение
- те же данные, код, среда и начальное значение
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| ASME V&V 10, V&V 20 and V&V 40 | Verification, validation and credibility standards | Licensed standards, purchase required |
| NASA-STD-7009 | Credibility assessment of models and simulations | Public domain, US government |
| IPCC uncertainty guidance note | Калиброванный язык неопределённости | Public, IPCC terms |
| SALib and other open анализа чувствительности libraries | Implementations of global sensitivity methods | Open source, MIT licence |
| Published validation studies in each field | Evidence on model performance | Licence per publication |
Кто принимает решения и чему служит доказательная база.
Системная Science and Modelling prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Model owners | Whether a model is fit for a stated purpose | Credibility assessments; validation reports |
| Decision makers | How much weight to give model results | Uncertainty statements |
| Reviewers and auditors | Whether verification and validation were adequate | Protocols and review records |
Результаты, которые даёт эта тема
- Verification and validation protocols for network models
- Uncertainty statements in calibrated language
- Credibility assessments for models used in decisions
- Validation reports against independent data
What experts ask about uncertainty and validation.
- Which sources of uncertainty matter most for the decision at hand?
- How does uncertainty in inputs and parameters propagate to outputs?
- What observations can test the model, and are they independent of calibration data?
- How far beyond the calibration conditions can the model be trusted?
- How should uncertainty be communicated to people who must act on it?
Kinds of uncertainty and why calibration is not validation.
Modellers distinguish aleatory uncertainty, the inherent variability of a system, from epistemic uncertainty, which comes from incomplete knowledge and can in principle be reduced. Structural uncertainty, about whether the model’s equations are right, is often the largest and hardest to quantify. Глубокая неопределённость arises when experts cannot agree even on probability distributions.
Calibration adjusts parameters so that a model matches observations. A well-calibrated model may still be wrong: many parameter combinations can fit the same data, a problem called equifinality, and a model tuned to past conditions may fail under new ones. Validation therefore requires tests against data not used in calibration, and ideally under different conditions.
Validation is purpose-specific. A model may be adequate for estimating averages but not extremes, or for one region but not another.
Методы и их ограничения.
- 01
Анализ чувствительности
Identifying which inputs drive output variation. Global methods are computationally demanding.
- 02
Probabilistic propagation
Monte Carlo and related methods, using теорию вероятностей и статистику. Results depend on assumed input distributions.
- 03
Bayesian calibration
Updating parameter beliefs with data and representing model discrepancy. Priors and discrepancy models involve judgement.
- 04
Out-of-sample validation
Testing against independent data, held-out periods or different locations. Suitable data are often scarce for extremes.
No validation proves a model correct. It establishes confidence for a purpose, within stated conditions.
Как это изучается и чего методы не могут сказать.
- 01Количественная оценка неопределённости и валидация моделейБюджеты неопределённости · Суррогатные модели для ресурсоёмких симуляций · Оценка достоверностиПрименяется здесь
- 02Теория вероятностей и статистикаБайесовская калибровка · Корректная оценка прогнозов · Статистика ансамблейПрименяется здесь
- 03Системная инженерияТребования к моделям для принятия решений · Управление интерфейсами сопряжённых моделейПрименяется здесь
- 04Анализ решений в условиях неопределённостиПостановка задачи принятия решения до построения модели · Ценность информации для моделейПрименяется здесь
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
- ASME V&V 40-2018, assessing credibility of computational modelling (ASME)
- NASA-STD-7009, Стандарт для моделей и симуляций (NASA)
- Kennedy and O’Hagan, Bayesian calibration of computer models, Journal of the Royal Statistical Society Series B 63 (2001)
- Saltelli and others, Five ways to ensure that models serve society: a manifesto, Nature 582 (2020)
Вопросы и ответы.
What is the difference between verification and validation?
Can a model be validated for the future?
What is global sensitivity analysis?
Can uncertainty always be quantified?
What is equifinality?
Does GCRI validate models for regulators?
Why is calibration not enough?
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.