Skip to content

GCRI · Scienza dei sistemi e modellazione

Incertezza e validazione

A model result is useful only when its uncertainty is stated and its fitness for a purpose has been tested. Verification checks that the code solves the equations intended; validation checks that the model represents the real system well enough for the decision at hand. This page sets out how uncertainty is quantified and models are verified and validated, and what evidence serves the decision makers who rely on model results.

01Canvas

Come si svolge il lavoro.

sistemi · intorno a questo temaIllustrativo

Esecutore di modelli accoppiati

Uncertainty and validation · Coupled model A · Scenario set 3

Ensemble in esecuzioneGCRI · Scienza dei sistemi e modellazione

Grafo di accoppiamento dei modelli

nodi: modelli · archi: variabili scambiate

Componenti accoppiati

Idrologia1 daydeflussoSì
Sistema elettrico1 hdomanda, interruzioniSì
Economia1 trimestreproduzione, prezziParziale
Popolazione1 yearesposizioneSì

Output dell'ensemble

Coupled model runner: the screen’s structure, terms and states for Uncertainty and validation.Nomi di esempio e valori illustrativi; un progetto, non un registro né un sistema attivo.

Fig.Coupled model runner: example names and illustrative values, not a record or a live system.

02La domanda

Uncertainty and validation: how the risk develops.

Quantifying uncertainty, validation against observations and the limits of calibration. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Meccanismo

Verification precedes validation

Before asking whether a model matches reality, modellers check that the code is correct, through tests, convergence studies and comparison with known solutions.

Meccanismo

Validation is purpose-specific

A model valid for one question may be invalid for another. Validation is judged against the accuracy a specific decision needs.

Meccanismo

Uncertainty has several sources

Input data, parameters, model structure, numerical error and natural variability each contribute, and each needs a different treatment.

Meccanismo

Calibration can hide error

Tuning parameters to match past data can make a model fit for the wrong reasons, so validation needs data not used in calibration.

03Geografia

Pericoli ed esposizione in America settentrionale.

Flood water, population density and night lights over North America, from NASA GIBS. Each layer carries its own date.

La mappa interattiva richiede JavaScript; l'elenco dei livelli e le fonti sono riportati sotto.

Livelli 3

Pericoli ed esposizione, per questa pagina

Informazioni su questo livello
Evidenza
Osservato (le nuvole lasciano lacune)
Fonte
VIIRS Global Flood Product (NASA LANCE)
Fornitore
NASA LANCE
Licenza
Dati aperti NASA
Annata
giornaliero; rilevamento satellitare; le nuvole lasciano lacune
Più recenti alla build
2026-10-14
Risoluzione
griglia di circa 250 m
Incertezza
Rilevamento satellitare; le nuvole lasciano lacune. Raster satellitare o di modello così come lo pubblica il fornitore. Nuvole, lacune di swath ed errori di recupero lasciano lacune e rumore; i valori sono indicatori, non misure in un luogo.
Raggiungibile tramite
gibs.earthdata.nasa.gov, solo dopo che hai consentito la mappa dal vivo
Informazioni su questo livello
Evidenza
Stimato
Fonte
Gridded Population of the World v4.11 (NASA SEDAC (CIESIN, Columbia University))
Fornitore
NASA SEDAC (CIESIN, Columbia University)
Licenza
CC BY 4.0
Annata
null; Stima basata sul censimento, statica (2020)
Risoluzione
griglia di circa 1 km
Incertezza
Stima basata sui censimenti delle persone per chilometro quadrato nel 2020, mostrata come contesto di esposizione; non è un conteggio delle persone colpite da alcun pericolo.
Raggiungibile tramite
gibs.earthdata.nasa.gov, solo dopo che hai consentito la mappa dal vivo
Informazioni su questo livello
Evidenza
Osservato
Fonte
VIIRS Black Marble (VNP46A2) (NASA LAADS DAAC)
Fornitore
NASA LAADS DAAC
Licenza
Dati aperti NASA
Annata
giornaliero; radianza satellitare, corretta per luce lunare e atmosfera
Più recenti alla build
2026-10-12
Risoluzione
griglia di circa 500 m
Incertezza
Radianza notturna satellitare per la data indicata; le luci sono un indicatore indiretto dell'uso di elettricità e delle interruzioni, non una misura di fornitura o accesso.
Raggiungibile tramite
gibs.earthdata.nasa.gov, solo dopo che hai consentito la mappa dal vivo
Informazioni su questo livello
Evidenza
Osservato
Fonte
VIIRS NOAA-20, riflettanza corretta (NASA LANCE)
Fornitore
NASA LANCE
Licenza
Dati aperti NASA
Annata
giornaliero; immagine satellitare
Più recenti alla build
2026-10-14
Risoluzione
griglia di circa 250 m
Incertezza
Immagine satellitare. Raster satellitare o di modello così come lo pubblica il fornitore. Nuvole, lacune di swath ed errori di recupero lasciano lacune e rumore; i valori sono indicatori, non misure in un luogo.
Raggiungibile tramite
gibs.earthdata.nasa.gov, solo dopo che hai consentito la mappa dal vivo
Informazioni su questo livello
Evidenza
Modellato (ultimo anno pubblicato da GIBS)
Fonte
MODIS Terra e Aqua, copertura del suolo (MCD12Q1) (NASA LP DAAC)
Fornitore
NASA LP DAAC
Licenza
Dati aperti NASA
Annata
annuale; classificazione satellitare; ultimo anno pubblicato da GIBS
Più recenti alla build
2024-01-01
Risoluzione
griglia di circa 500 m
Incertezza
Classi satellitari di copertura del suolo per l'anno indicato, comprese le terre coltivate; una classificazione con errori noti, non un registro aziendale agricolo.
Raggiungibile tramite
gibs.earthdata.nasa.gov, solo dopo che hai consentito la mappa dal vivo
Informazioni su questo livello
Evidenza
Osservato (le nuvole e i tempi di passaggio del satellite lasciano lacune)
Fonte
VIIRS NOAA-20 375 m (FIRMS) (NASA LANCE FIRMS)
Fornitore
NASA LANCE FIRMS
Licenza
Dati aperti NASA
Annata
giornaliero; rilevamento satellitare; le nuvole e i tempi di passaggio del satellite lasciano lacune
Più recenti alla build
2026-10-13
Risoluzione
griglia di circa 500 m
Incertezza
Rilevamenti satellitari di hot spot per il giorno indicato, comprese fiaccole di gas e calore industriale; non è un incendio confermato, un rapporto di incidente né un'allerta.
Raggiungibile tramite
gibs.earthdata.nasa.gov, solo dopo che hai consentito la mappa dal vivo

Ultimo disponibile

NASA GIBS / EOSDIS · ASTER GDEM (METI, NASA) · Blue Marble (NASA) · © contributori di OpenStreetMap (ODbL) · Natural Earth

Caricamento delle immagini NASA più recenti.

Trascina per spostare. Ctrl o ⌘ e scorrimento, pizzico o i pulsanti per lo zoom; passa il puntatore per i valori sottostanti; il ripristino riporta alla regione.

Pericoli ed esposizione, inquadrati sull'America settentrionale.Prodotti satellitari e di modelli così come li pubblica la NASA, ciascuno con la propria data. Sono indicatori, non valutazioni di alcun luogo.

Dati: NASA GIBS · ASTER GDEM · Blue Marble · © contributori di OpenStreetMap · Natural Earth · NASA EONET · U.S. Geological Survey · NASA JPL OPERA DIST-ALERTFonti e licenze

  • We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). Dati aperti NASA
  • We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). Dati aperti NASA
  • Prodotti VIIRS quasi in tempo reale (alluvioni, temperatura della superficie terrestre, copertura nevosa, riflettanza corretta), NASA LANCE; immagini tramite NASA GIBS. Colori ridisegnati dalla scala cromatica pubblicata; valori mediati in celle esagonali dove mostrati (modificato). Dati aperti NASA
  • Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). Con licenza CC BY 4.0. Colori ridisegnati dalla palette pubblicata; valori mediati in celle esagonali ove mostrati (modificato). doi:10.7927/H49C6VHW. CC BY 4.0
  • Luci notturne VIIRS Black Marble, NASA Goddard Space Flight Center; distribuite dal NASA Level-1 and Atmosphere Archive and Distribution System (LAADS DAAC); immagini tramite NASA GIBS. Colori ridisegnati dalla scala cromatica pubblicata; valori mediati in celle esagonali dove mostrati (modificato). Dati aperti NASA
  • Prodotti terrestri MODIS (indici di vegetazione, produzione primaria lorda, copertura del suolo), NASA LP DAAC e LANCE; immagini tramite NASA GIBS. Colori ridisegnati dalla scala cromatica pubblicata; valori mediati in celle esagonali dove mostrati (modificato). Dati aperti NASA
  • Fire Information for Resource Management System (FIRMS) della NASA, prodotto incendi attivi VIIRS 375 m, NASA LANCE; tile vettoriali tramite NASA GIBS. Colori ridisegnati dalla scala cromatica pubblicata; valori mediati in celle esagonali dove mostrati (modificato). Dati aperti NASA
  • ASTER GDEM è un prodotto di METI e NASA (ASTER Global Digital Elevation Model V003, NASA LP DAAC); immagini tramite NASA GIBS. Colori ridisegnati dalla scala cromatica pubblicata; valori mediati in celle esagonali dove mostrati (modificato). Citare come: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. Dati aperti NASA
  • Realizzato con Natural Earth. Dati cartografici vettoriali e raster gratuiti @ naturalearthdata.com. Pubblico dominio
  • © Collaboratori di OpenStreetMap (ODbL), tramite NASA GIBS (coste, confini, strade e nomi di luoghi). Colori ridisegnati dalla mappa di colori pubblicata; valori mediati in celle esagonali dove mostrati (modificato). ODbL
  • Blue Marble, NASA Earth Observatory; immagini tramite NASA GIBS. Colori ridisegnati dalla scala cromatica pubblicata; valori mediati in celle esagonali dove mostrati (modificato). Dati aperti NASA
  • Contesto sul globo e sulla mappa piana: linee costiere, confini, strade e toponimi dai livelli di riferimento NASA GIBS (dati OpenStreetMap, ODbL, © contributori di OpenStreetMap); immagini Blue Marble come base facoltativa; terreno 3D e lettura dell'altitudine dall'indice cromatico di elevazione ASTER GDEM (classi da 5 m a 200 m, esagerate per leggibilità). I confini sono tracciati come pubblicati e non implicano alcuna posizione su alcun territorio.
  • Eventi in tempo reale: NASA Earth Observatory Natural Event Tracker (EONET); gli eventi sono indicativi e conservano i link alle fonti originali.
  • In diretta: gli eventi NASA EONET sono indicativi e non costituiscono allerte delle autorità.
  • In tempo reale: gli eventi dell'U.S. Geological Survey sono indicativi, non allerte delle autorità.
  • Observed (EO): NASA JPL OPERA DIST-ALERT (contains modified Copernicus Sentinel data 2026). We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
  • NASA GIBS: We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
  • Previsione della portata fluviale, 30 giorni con intervallo (GloFAS tramite Open-Meteo): contiene informazioni modificate del Copernicus Emergency Management Service 2026; non è un'allerta alluvione.
  • Dati meteorologici di Open-Meteo.com (https://open-meteo.com/), con licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/).
  • I livelli facoltativi (11 fonti nell'elenco dei livelli: in tempo reale, previsione, osservati e contesto) mostrano il credito del fornitore sulla mappa e qui quando sono attivi; le previsioni sono output di modelli e gli indici derivati sono stime.

Livelli e date

  • Acqua di inondazione, composito a 3 giorni: VIIRS Global Flood Product, NASA LANCE · 14 ott 2026
  • Densità di popolazione, 2020: Popolazione: CIESIN, Columbia University, Gridded Population of the World v4.11 (2018), NASA SEDAC, CC BY 4.0 · statico
  • Luci notturne, giornaliere: VIIRS Black Marble (VNP46A2), NASA LAADS DAAC · 12 ott 2026
  • Colori reali: riflettanza corretta VIIRS NOAA-20, NASA LANCE · 13 ott 2026
  • Tipo di copertura del suolo (IGBP), annuale: copertura del suolo MODIS Terra e Aqua (MCD12Q1), NASA LP DAAC · 2024
  • Incendi attivi e anomalie termiche: VIIRS NOAA-20 375 m (FIRMS), NASA LANCE FIRMS · 13 ott 2026

04Tra i domini

Validation must match the decision each domain faces.

Validation studies are designed for the serie Methods and Technical. ASME V&V 40, NASA-STD-7009 and Bayesian calibration (Kennedy and O’Hagan, 2001) set practice; analisi di sensibilità is one of the five rules of Saltelli and colleagues (2020).

  • Validation datasets.
  • Documented model failures.
05Simulatore di gemello e cascata

Model uncertainty and validation as a system. Run the cascade.

Assembled from the Nexus Standards area profile Standard sui pericoli composti e a cascata: the hazards it names, the sistemi and sectors that carry the loss, the controls that dampen it and the data that observe it. Choose the components, pick an initiating hazard and step through the cascade. The Map view places the run on an example geography with open data. Every coupling weight is a stated assumption you can change. A teaching model, not a forecast, an assessment or a certification. To model a place of your own choosing, open the full Costruttore di sistemi.

Pericoli

Comandi

  • NS-0 Costituzione e principi
  • NS-3 UNI dei record di rischio (grammatica, corrispondenza legacy, autorità di assegnazione)
  • NS-9 UNI contestuali (distribuzioni, istanze, istanze di programma)
  • NS-11 Verifica e monitoraggio (evidenze, attestazioni, osservazione della conformità zero trust)
  • NRS-H61 Famiglia di pericoli: guasto a cascata (NHS-1 sys.cascade)
  • NRS-H62 Famiglia di pericoli: eventi composti e multipericolo (NHS-1 sys.compound)
  • NRS-H60 Famiglia di pericoli: interruzione delle catene di approvvigionamento e dei flussi (NHS-1 sys.supply-chain)
  • NRS-H94 Famiglia di pericoli: eventi cyber sistemici (NHS-1 cyber.systemic-cyber)
  • NRS-H107 Famiglia di pericoli: concentrazione e monocoltura dell'infrastruttura digitale (NHS-1 tech.digital-concentration)
  • NRS-H7 Famiglia di pericoli: anomalie della circolazione su grande scala (NHS-1 atmo.climate-mode)

Osservazione

  • Copernicus EMS rapid mapping activations (listed for reference)
  • OpenStreetMap planet and replication (listed for reference)
  • ERA5 reanalysis (Copernicus Climate Data Store) (listed for reference)
  • Perdite economiche dirette attribuite ai disastri in rapporto al PIL mondiale
  • Number of disruptions to basic services attributed to disasters

Geografia di esempio

  • Bangladesh: 134 celle esagonali
  • Luci notturne di stanotte, blackout (VIIRS Day/Night Band), NASA GIBS
  • Carbon monoxide, smoke transport (AIRS), NASA GIBS
  • Vegetation disturbance alerts, 30 m (OPERA DIST-ALERT), NASA GIBS
06Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Verification tests passedpercent of test suiteper rilascioModel test recordsOSSERVATO
Validation error against independent dataerror metricper validationValidation studiesSTIMATO
Prediction interval coveragepercent of observations inside stated intervalsper evaluationOut-of-sample evaluationOSSERVATO
Sensitivity indicesshare of output variance by inputper analysisGlobale analisi di sensibilitàMODELLATO
Models with documented credibility assessmentconteggioper valutazioneModel documentationDICHIARATO
Independent reviews completedconteggioper modelReview recordsRIPORTATO
07Metodi ed evidenze

How uncertainty and validation is modelled, measured and tested.

Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.

Modello, equazioni e ipotesi

The model structure used for uncertainty and validation, the assumptions it makes and how each is tested.

Rischio dell'elemento iRi = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di risposta
Perdita annua attesaEAL = ∑k pk · Lksu eventi k con probabilità annua pk
Sistemi accoppiatixt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
IpotesiPerché è realizzatoCome viene testato
Pericolo ed esposizione sono indipendenti all'interno di un eventoMantiene trattabile l'integrale delle perditeConfrontare con un adattamento di copula su registrazioni congiunte
Gli accoppiamenti sono lineari vicino al punto di funzionamentoConsente agli shock di propagarsi attraverso APerturbare oltre l'intervallo lineare e confrontare
Le curve di vulnerabilità si trasferiscono da un luogo all'altroLe curve locali sono raramente disponibiliValidare rispetto alle perdite osservate, dove esistono
Input
set di dati versionati con provenienza
Risultati
distribuzioni, mai valori singoli
Codice
pubblicato con la scheda del modello e i test
Riproduzione
stessi dati, codice, ambiente e seed
Formulazioni standard del rischio e dello spazio degli stati; le ipotesi elencate sono tipiche del metodo, dichiarate per la revisione, non risultati.
Principi guida FAIR · GO FAIR e FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Comitato sui satelliti per l'osservazione della Terra
08Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
ASME V&V 10, V&V 20 and V&V 40Verification, validation and credibility standardsLicensed standards, purchase required
NASA-STD-7009Credibility assessment of models and simulationsPublic domain, US government
IPCC uncertainty guidance noteLinguaggio calibrato dell'incertezzaPublic, IPCC terms
SALib and other open analisi di sensibilità librariesImplementations of global sensitivity methodsOpen source, MIT licence
Published validation studies in each fieldEvidence on model performanceLicence per publication
09Decisioni

Chi decide, e a cosa servono le evidenze.

sistemi Science and Modelling prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.

Chi decideLa domandaEvidenze fornite da questa pagina
Model ownersWhether a model is fit for a stated purposeCredibility assessments; validation reports
Decision makersHow much weight to give model resultsUncertainty statements
Reviewers and auditorsWhether verification and validation were adequateProtocols and review records

Output prodotti da questo argomento

  • Verification and validation protocols for network models
  • Uncertainty statements in calibrated language
  • Credibility assessments for models used in decisions
  • Validation reports against independent data
10Questioni centrali

What experts ask about uncertainty and validation.

  • Which sources of uncertainty matter most for the decision at hand?
  • How does uncertainty in inputs and parameters propagate to outputs?
  • What observations can test the model, and are they independent of calibration data?
  • How far beyond the calibration conditions can the model be trusted?
  • How should uncertainty be communicated to people who must act on it?
11Meccanismi e fattori

Kinds of uncertainty and why calibration is not validation.

Modellers distinguish aleatory uncertainty, the inherent variability of a system, from epistemic uncertainty, which comes from incomplete knowledge and can in principle be reduced. Structural uncertainty, about whether the model’s equations are right, is often the largest and hardest to quantify. Incertezza profonda arises when experts cannot agree even on probability distributions.

Calibration adjusts parameters so that a model matches observations. A well-calibrated model may still be wrong: many parameter combinations can fit the same data, a problem called equifinality, and a model tuned to past conditions may fail under new ones. Validation therefore requires tests against data not used in calibration, and ideally under different conditions.

Validation is purpose-specific. A model may be adequate for estimating averages but not extremes, or for one region but not another.

12Metodi e dati

Metodi e loro limiti.

  1. 01

    Analisi di sensibilità

    Identifying which inputs drive output variation. Global methods are computationally demanding.

  2. 02

    Probabilistic propagation

    Monte Carlo and related methods, using probabilità e statistica. Results depend on assumed input distributions.

  3. 03

    Bayesian calibration

    Updating parameter beliefs with data and representing model discrepancy. Priors and discrepancy models involve judgement.

  4. 04

    Out-of-sample validation

    Testing against independent data, held-out periods or different locations. Suitable data are often scarce for extremes.

No validation proves a model correct. It establishes confidence for a purpose, within stated conditions.

15Domande

Domande e risposte.

What is the difference between verification and validation?
Verification asks whether the model is solved correctly, that the code does what it is meant to. Validation asks whether it is the right model for the purpose, by comparing it with reality.
Can a model be validated for the future?
Not directly. Models can be tested on past conditions and processes; confidence for new conditions rests on whether the model represents the underlying processes.
What is global sensitivity analysis?
A method that varies all uncertain inputs together to find which ones drive most of the variation in model outputs.
Can uncertainty always be quantified?
Not always. Under deep uncertainty, experts may not agree on probabilities, and other approaches such as scenario analysis are used. See ottimizzazione in condizioni di incertezza.
What is equifinality?
The situation in which different parameter sets produce equally good fits to observations, so calibration cannot identify the true values.
Does GCRI validate models for regulators?
No. GCRI does not certify. Its method notes describe how validation can be done.
Why is calibration not enough?
Because matching past data does not show that a model will perform under new conditions or for different outputs.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Rapporti is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIScienza dei sistemi e modellazioneMetodi e aspetti tecniciScenari e stress test
Scienza dei sistemi e modellazione

Porta un metodo, un set di dati o una domanda.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.