Skip to content

GCRI · Science des systèmes et modélisation

Incertitude et validation

A model result is useful only when its uncertainty is stated and its fitness for a purpose has been tested. Verification checks that the code solves the equations intended; validation checks that the model represents the real system well enough for the decision at hand. This page sets out how uncertainty is quantified and models are verified and validated, and what evidence serves the decision makers who rely on model results.

01Canevas

Comment le travail se déroule.

systèmes · autour de ce sujetIllustratif

Exécuteur de modèles couplés

Uncertainty and validation · Coupled model A · Scenario set 3

Ensemble en cours d'exécutionGCRI · Science des systèmes et modélisation

Graphe de couplage des modèles

nœuds : modèles · arêtes : variables échangées

Composants couplés

Hydrologie1 dayruissellementOui
Système électrique1 hdemande, pannesOui
Économie1 trimestreproduction, prixPartiel
Population1 yearexpositionOui

Sortie d'ensemble

Coupled model runner: the screen’s structure, terms and states for Uncertainty and validation.Noms donnés à titre d'exemple et valeurs illustratives ; une conception, non un enregistrement ni un système en service.

Fig.Coupled model runner: example names and illustrative values, not a record or a live system.

02La question

Uncertainty and validation: how the risk develops.

Quantifying uncertainty, validation against observations and the limits of calibration. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mécanisme

Verification precedes validation

Before asking whether a model matches reality, modellers check that the code is correct, through tests, convergence studies and comparison with known solutions.

Mécanisme

Validation is purpose-specific

A model valid for one question may be invalid for another. Validation is judged against the accuracy a specific decision needs.

Mécanisme

Uncertainty has several sources

Input data, parameters, model structure, numerical error and natural variability each contribute, and each needs a different treatment.

Mécanisme

Calibration can hide error

Tuning parameters to match past data can make a model fit for the wrong reasons, so validation needs data not used in calibration.

03Géographie

Aléas et exposition en Amérique du Nord.

Flood water, population density and night lights over North America, from NASA GIBS. Each layer carries its own date.

La carte interactive requiert JavaScript ; la liste des couches et les sources figurent ci-dessous.

Couches 3

Aléas et exposition, pour cette page

À propos de cette couche
Preuves
Observé (les nuages laissent des lacunes)
Sources
Produit VIIRS d'inondation mondiale (NASA LANCE)
Fournisseur
NASA LANCE
Licence
Données ouvertes de la NASA
Millésime
quotidien ; détection satellitaire ; les nuages laissent des lacunes
Les plus récents à la construction
2026-10-14
Résolution
grille d'environ 250 m
Incertitude
Détection satellitaire ; les nuages laissent des lacunes. Raster satellitaire ou de modèle tel que le fournisseur le publie. Les nuages, les lacunes de fauchée et les erreurs de restitution laissent des lacunes et du bruit ; les valeurs sont des indicateurs, et non des mesures en un lieu donné.
Accessible par
gibs.earthdata.nasa.gov, uniquement après que vous avez autorisé la carte en direct
À propos de cette couche
Preuves
Estimé
Sources
Gridded Population of the World v4.11 (NASA SEDAC (CIESIN, Université Columbia))
Fournisseur
NASA SEDAC (CIESIN, Université Columbia)
Licence
CC BY 4.0
Millésime
null ; estimation fondée sur le recensement, statique (2020)
Résolution
grille d'environ 1 km
Incertitude
Estimation fondée sur le recensement du nombre d'habitants par kilomètre carré en 2020, présentée comme contexte d'exposition ; ce n'est pas un décompte des personnes touchées par un aléa.
Accessible par
gibs.earthdata.nasa.gov, uniquement après que vous avez autorisé la carte en direct
À propos de cette couche
Preuves
Observé
Sources
VIIRS Black Marble (VNP46A2) (NASA LAADS DAAC)
Fournisseur
NASA LAADS DAAC
Licence
Données ouvertes de la NASA
Millésime
quotidien ; radiance satellitaire, corrigée de la lumière lunaire et de l'atmosphère
Les plus récents à la construction
2026-10-12
Résolution
grille d'environ 500 m
Incertitude
Radiance nocturne satellitaire pour la date indiquée ; les lumières sont un indicateur indirect de la consommation d'électricité et des pannes, et non une mesure de l'approvisionnement ou de l'accès.
Accessible par
gibs.earthdata.nasa.gov, uniquement après que vous avez autorisé la carte en direct
À propos de cette couche
Preuves
Observé
Sources
VIIRS NOAA-20, réflectance corrigée (NASA LANCE)
Fournisseur
NASA LANCE
Licence
Données ouvertes de la NASA
Millésime
quotidien ; image satellitaire
Les plus récents à la construction
2026-10-14
Résolution
grille d'environ 250 m
Incertitude
Image satellitaire. Raster satellitaire ou de modèle tel que le fournisseur le publie. Les nuages, les lacunes de fauchée et les erreurs de restitution laissent des lacunes et du bruit ; les valeurs sont des indicateurs, et non des mesures en un lieu donné.
Accessible par
gibs.earthdata.nasa.gov, uniquement après que vous avez autorisé la carte en direct
À propos de cette couche
Preuves
Modélisé (dernière année publiée par GIBS)
Sources
MODIS Terra et Aqua, occupation du sol (MCD12Q1) (NASA LP DAAC)
Fournisseur
NASA LP DAAC
Licence
Données ouvertes de la NASA
Millésime
annuel ; classification satellitaire ; dernière année publiée par GIBS
Les plus récents à la construction
2024-01-01
Résolution
grille d'environ 500 m
Incertitude
Classes d'occupation du sol par satellite pour l'année indiquée, y compris les terres cultivées ; une classification comportant des erreurs connues, et non un registre des exploitations agricoles.
Accessible par
gibs.earthdata.nasa.gov, uniquement après que vous avez autorisé la carte en direct
À propos de cette couche
Preuves
Observé (les nuages et l'heure de passage du satellite laissent des lacunes)
Sources
VIIRS NOAA-20 375 m (FIRMS) (NASA LANCE FIRMS)
Fournisseur
NASA LANCE FIRMS
Licence
Données ouvertes de la NASA
Millésime
quotidien ; détection satellitaire ; les nuages et l'heure de passage du satellite laissent des lacunes
Les plus récents à la construction
2026-10-13
Résolution
grille d'environ 500 m
Incertitude
Détections satellitaires de points chauds pour le jour indiqué, y compris les torchères de gaz et la chaleur industrielle ; ce n'est pas un incendie confirmé, un rapport d'incident ni une alerte.
Accessible par
gibs.earthdata.nasa.gov, uniquement après que vous avez autorisé la carte en direct

Dernière version disponible

NASA GIBS / EOSDIS · ASTER GDEM (METI, NASA) · Blue Marble (NASA) · © contributeurs d'OpenStreetMap (ODbL) · Natural Earth

Chargement des dernières images de la NASA.

Faites glisser pour déplacer. Ctrl ou ⌘ et défilement, pincement ou boutons pour zoomer ; survolez pour lire les valeurs sous le pointeur ; la réinitialisation ramène à la région.

Aléas et exposition, cadrés sur l'Amérique du Nord.Produits satellitaires et de modèles tels que la NASA les publie, chacun avec sa propre date. Ce sont des indicateurs, non des évaluations d'un lieu quelconque.

Données : NASA GIBS · ASTER GDEM · Blue Marble · © contributeurs d'OpenStreetMap · Natural Earth · NASA EONET · U.S. Geological Survey · NASA JPL OPERA DIST-ALERTSources et licences

  • We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). Données ouvertes de la NASA
  • We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). Données ouvertes de la NASA
  • Produits VIIRS en quasi-temps réel (inondation, température de surface terrestre, couverture neigeuse, réflectance corrigée), NASA LANCE ; imagerie via NASA GIBS. Couleurs redessinées d'après la palette publiée ; valeurs moyennées dans des cellules hexagonales lorsque affichées (modifié). Données ouvertes de la NASA
  • Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). Sous licence CC BY 4.0. Couleurs redessinées à partir de la palette publiée ; valeurs moyennées dans des cellules hexagonales lorsque présentées (modifié). doi:10.7927/H49C6VHW. CC BY 4.0
  • Lumières nocturnes VIIRS Black Marble, NASA Goddard Space Flight Center ; distribuées par le NASA Level-1 and Atmosphere Archive and Distribution System (LAADS DAAC) ; imagerie via NASA GIBS. Couleurs redessinées d'après la palette publiée ; valeurs moyennées dans des cellules hexagonales lorsque affichées (modifié). Données ouvertes de la NASA
  • Produits terrestres MODIS (indices de végétation, production primaire brute, occupation du sol), NASA LP DAAC et LANCE ; imagerie via NASA GIBS. Couleurs redessinées d'après la palette publiée ; valeurs moyennées dans des cellules hexagonales lorsque affichées (modifié). Données ouvertes de la NASA
  • Fire Information for Resource Management System (FIRMS) de la NASA, produit de feux actifs VIIRS 375 m, NASA LANCE ; tuiles vectorielles via NASA GIBS. Couleurs redessinées d'après la palette publiée ; valeurs moyennées dans des cellules hexagonales lorsque affichées (modifié). Données ouvertes de la NASA
  • ASTER GDEM est un produit du METI et de la NASA (ASTER Global Digital Elevation Model V003, NASA LP DAAC) ; imagerie via NASA GIBS. Couleurs redessinées d'après la palette publiée ; valeurs moyennées dans des cellules hexagonales lorsque affichées (modifié). Citer comme : NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. Données ouvertes de la NASA
  • Réalisé avec Natural Earth. Données cartographiques vectorielles et matricielles libres sur naturalearthdata.com. Domaine public
  • © Contributeurs d'OpenStreetMap (ODbL), via NASA GIBS (côtes, frontières, routes et noms de lieux). Couleurs redessinées d'après la palette publiée ; valeurs moyennées en cellules hexagonales lorsqu'elles sont affichées (modifié). ODbL
  • Blue Marble, NASA Earth Observatory ; imagerie via NASA GIBS. Couleurs redessinées d'après la palette publiée ; valeurs moyennées dans des cellules hexagonales lorsque affichées (modifié). Données ouvertes de la NASA
  • Contexte sur le globe et la carte plane : côtes, frontières, routes et toponymes issus des couches de référence NASA GIBS (données OpenStreetMap, ODbL, © contributeurs d'OpenStreetMap) ; imagerie Blue Marble comme fond facultatif ; relief 3D et lecture de l'altitude à partir de l'indice de couleur d'altitude ASTER GDEM (classes de 5 m à 200 m, exagérées pour la lisibilité). Les frontières sont tracées telles que publiées et n'impliquent aucune position sur un territoire.
  • Événements en direct : suivi des événements naturels de l'Observatoire de la Terre de la NASA (EONET) ; les événements sont indicatifs et conservent les liens de leur source d'origine.
  • En direct : les événements NASA EONET sont indicatifs et ne constituent pas des alertes officielles.
  • En direct : U.S. Geological Survey. Les événements sont indicatifs et ne constituent pas des alertes d'autorités.
  • Observed (EO): NASA JPL OPERA DIST-ALERT (contains modified Copernicus Sentinel data 2026). We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
  • NASA GIBS: We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
  • Prévision du débit des cours d'eau sur 30 jours, avec fourchette (GloFAS via Open-Meteo) : contient des informations modifiées du service de gestion des urgences Copernicus 2026 ; ne constitue pas une alerte de crue.
  • Données météorologiques d'Open-Meteo.com (https://open-meteo.com/), sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/).
  • Les couches facultatives (11 sources dans la liste des couches : en direct, prévision, observées et contexte) affichent le crédit de leur fournisseur sur la carte et ici lorsqu'elles sont activées ; les prévisions sont des sorties de modèles et les indices dérivés sont des estimations.

Couches et dates

  • Eaux de crue, composite sur 3 jours : VIIRS Global Flood Product, NASA LANCE · 14 oct. 2026
  • Densité de population, 2020 : Population : CIESIN, Columbia University, Gridded Population of the World v4.11 (2018), NASA SEDAC, CC BY 4.0 · statique
  • Lumières nocturnes, quotidien : VIIRS Black Marble (VNP46A2), NASA LAADS DAAC · 12 oct. 2026
  • Couleurs naturelles : réflectance corrigée VIIRS NOAA-20, NASA LANCE · 13 oct. 2026
  • Type de couverture terrestre (IGBP), annuel : MODIS Terra and Aqua land cover (MCD12Q1), NASA LP DAAC · 2024
  • Feux actifs et anomalies thermiques : VIIRS NOAA-20 375 m (FIRMS), NASA LANCE FIRMS · 13 oct. 2026

04À travers les domaines

Validation must match the decision each domain faces.

Validation studies are designed for the série Methods and Technical. ASME V&V 40, NASA-STD-7009 and Bayesian calibration (Kennedy and O’Hagan, 2001) set practice; analyse de sensibilité is one of the five rules of Saltelli and colleagues (2020).

  • Validation datasets.
  • Documented model failures.
05Simulateur de jumeau et de cascade

Model uncertainty and validation as a system. Run the cascade.

Assembled from the Nexus Standards area profile Normes sur les aléas composés et en cascade: the hazards it names, the systèmes and sectors that carry the loss, the controls that dampen it and the data that observe it. Choose the components, pick an initiating hazard and step through the cascade. The Map view places the run on an example geography with open data. Every coupling weight is a stated assumption you can change. A teaching model, not a forecast, an assessment or a certification. To model a place of your own choosing, open the full Constructeur de systèmes.

Aléas

Commandes

  • NS-0 Constitution et principes
  • NS-3 UNI des enregistrements de risque (grammaire, table de correspondance héritée, autorité d'attribution)
  • NS-9 UNI contextuels (déploiements, instances, instances de programme)
  • NS-11 Vérification et suivi (éléments probants, attestations, observation de la conformité zero trust)
  • NRS-H61 Famille d'aléas : défaillance en cascade (NHS-1 sys.cascade)
  • NRS-H62 Famille d'aléas : événements composés et multialéas (NHS-1 sys.compound)
  • NRS-H60 Famille d'aléas : perturbation des chaînes d'approvisionnement et des flux (NHS-1 sys.supply-chain)
  • NRS-H94 Famille d'aléas : événements cyber systémiques (NHS-1 cyber.systemic-cyber)
  • NRS-H107 Famille d'aléas : concentration et monoculture de l'infrastructure numérique (NHS-1 tech.digital-concentration)
  • NRS-H7 Famille d'aléas : anomalies de la circulation à grande échelle (NHS-1 atmo.climate-mode)

Observation

  • Copernicus EMS rapid mapping activations (listed for reference)
  • OpenStreetMap planet and replication (listed for reference)
  • ERA5 reanalysis (Copernicus Climate Data Store) (listed for reference)
  • Pertes économiques directes attribuées aux catastrophes par rapport au PIB mondial
  • Number of disruptions to basic services attributed to disasters

Géographie d'exemple

  • Bangladesh : 134 cellules hexagonales
  • Lumières nocturnes de ce soir, pannes (VIIRS Day/Night Band), NASA GIBS
  • Carbon monoxide, smoke transport (AIRS), NASA GIBS
  • Vegetation disturbance alerts, 30 m (OPERA DIST-ALERT), NASA GIBS
06Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Verification tests passedpercent of test suitepar publicationModel test recordsOBSERVÉ
Validation error against independent dataerror metricper validationValidation studiesESTIMÉ
Prediction interval coveragepercent of observations inside stated intervalsper evaluationOut-of-sample evaluationOBSERVÉ
Sensitivity indicesshare of output variance by inputper analysisMondial analyse de sensibilitéMODÉLISÉ
Models with documented credibility assessmentnombrepar évaluationModel documentationDÉCLARÉ
Independent reviews completednombreper modelReview recordsDÉCLARÉ
07Méthodes et preuves

How uncertainty and validation is modelled, measured and tested.

Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.

Modèle, équations et hypothèses

The model structure used for uncertainty and validation, the assumptions it makes and how each is tested.

Risque de l'élément iRi = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire face
Perte annuelle attendueEAL = ∑k pk · Lksur les événements k de probabilité annuelle pk
Systèmes couplésxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
HypothèsePourquoi il est réaliséComment il est testé
Aléa et exposition sont indépendants au sein d'un événementGarde l'intégrale des pertes calculableComparer avec un ajustement de copule sur des relevés conjoints
Les couplages sont linéaires près du point de fonctionnementLaisse les chocs se propager à travers APerturber au-delà de la plage linéaire et comparer
Les courbes de vulnérabilité se transposent d'un lieu à l'autreLes courbes locales sont rarement disponiblesValider par rapport aux pertes observées lorsqu'elles existent
Entrées
jeux de données versionnés avec provenance
Productions
des distributions, jamais des nombres isolés
Code
publié avec la fiche de modèle et les tests
Reproduction
mêmes données, code, environnement et graine
Formulations standard du risque et de l'espace d'états ; les hypothèses énumérées sont typiques de la méthode, énoncées pour examen, et non des résultats.
Principes directeurs FAIR · GO FAIR et FORCE11W3C PROV · World Wide Web ConsortiumOrientations sur le traitement cohérent des incertitudes · GIECCEOS Analysis Ready Data · Comité sur les satellites d'observation de la Terre
08Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
ASME V&V 10, V&V 20 and V&V 40Verification, validation and credibility standardsLicensed standards, purchase required
NASA-STD-7009Credibility assessment of models and simulationsPublic domain, US government
IPCC uncertainty guidance noteLangage d'incertitude calibréPublic, IPCC terms
SALib and other open analyse de sensibilité librariesImplementations of global sensitivity methodsOpen source, MIT licence
Published validation studies in each fieldEvidence on model performanceLicence per publication
09Décisions

Qui décide, et à quoi servent les données probantes.

systèmes Science and Modelling prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.

Qui décideLa questionDonnées probantes servies par cette page
Model ownersWhether a model is fit for a stated purposeCredibility assessments; validation reports
Decision makersHow much weight to give model resultsUncertainty statements
Reviewers and auditorsWhether verification and validation were adequateProtocols and review records

Résultats que produit ce thème

  • Verification and validation protocols for network models
  • Uncertainty statements in calibrated language
  • Credibility assessments for models used in decisions
  • Validation reports against independent data
10Questions essentielles

What experts ask about uncertainty and validation.

  • Which sources of uncertainty matter most for the decision at hand?
  • How does uncertainty in inputs and parameters propagate to outputs?
  • What observations can test the model, and are they independent of calibration data?
  • How far beyond the calibration conditions can the model be trusted?
  • How should uncertainty be communicated to people who must act on it?
11Mécanismes et facteurs

Kinds of uncertainty and why calibration is not validation.

Modellers distinguish aleatory uncertainty, the inherent variability of a system, from epistemic uncertainty, which comes from incomplete knowledge and can in principle be reduced. Structural uncertainty, about whether the model’s equations are right, is often the largest and hardest to quantify. Incertitude profonde arises when experts cannot agree even on probability distributions.

Calibration adjusts parameters so that a model matches observations. A well-calibrated model may still be wrong: many parameter combinations can fit the same data, a problem called equifinality, and a model tuned to past conditions may fail under new ones. Validation therefore requires tests against data not used in calibration, and ideally under different conditions.

Validation is purpose-specific. A model may be adequate for estimating averages but not extremes, or for one region but not another.

12Méthodes et données

Les méthodes et leurs limites.

  1. 01

    Analyse de sensibilité

    Identifying which inputs drive output variation. Global methods are computationally demanding.

  2. 02

    Probabilistic propagation

    Monte Carlo and related methods, using les probabilités et la statistique. Results depend on assumed input distributions.

  3. 03

    Bayesian calibration

    Updating parameter beliefs with data and representing model discrepancy. Priors and discrepancy models involve judgement.

  4. 04

    Out-of-sample validation

    Testing against independent data, held-out periods or different locations. Suitable data are often scarce for extremes.

No validation proves a model correct. It establishes confidence for a purpose, within stated conditions.

15Questions

Questions et réponses.

What is the difference between verification and validation?
Verification asks whether the model is solved correctly, that the code does what it is meant to. Validation asks whether it is the right model for the purpose, by comparing it with reality.
Can a model be validated for the future?
Not directly. Models can be tested on past conditions and processes; confidence for new conditions rests on whether the model represents the underlying processes.
What is global sensitivity analysis?
A method that varies all uncertain inputs together to find which ones drive most of the variation in model outputs.
Can uncertainty always be quantified?
Not always. Under deep uncertainty, experts may not agree on probabilities, and other approaches such as scenario analysis are used. See optimisation en situation d'incertitude.
What is equifinality?
The situation in which different parameter sets produce equally good fits to observations, so calibration cannot identify the true values.
Does GCRI validate models for regulators?
No. GCRI does not certify. Its method notes describe how validation can be done.
Why is calibration not enough?
Because matching past data does not show that a model will perform under new conditions or for different outputs.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIScience des systèmes et modélisationMéthodes et techniqueScénarios et tests de résistance
Science des systèmes et modélisation

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.