GCRI · Ciência de sistemas e modelagem
Incerteza e validação
A model result is useful only when its uncertainty is stated and its fitness for a purpose has been tested. Verification checks that the code solves the equations intended; validation checks that the model represents the real system well enough for the decision at hand. This page sets out how uncertainty is quantified and models are verified and validated, and what evidence serves the decision makers who rely on model results.
Como decorre o trabalho.
Executor de modelos acoplados
Uncertainty and validation · Coupled model A · Scenario set 3
Grafo de acoplamento de modelos
nós: modelos · arestas: variáveis trocadas
Componentes acoplados
| Hidrologia | 1 day | escoamento | Sim |
| Sistema elétrico | 1 h | demanda, interrupções | Sim |
| Economia | 1 trimestre | produção, preços | Parcial |
| População | 1 year | exposição | Sim |
Saída do conjunto
Fig.Coupled model runner: example names and illustrative values, not a record or a live system.
Uncertainty and validation: how the risk develops.
Quantifying uncertainty, validation against observations and the limits of calibration. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Verification precedes validation
Before asking whether a model matches reality, modellers check that the code is correct, through tests, convergence studies and comparison with known solutions.
Validation is purpose-specific
A model valid for one question may be invalid for another. Validation is judged against the accuracy a specific decision needs.
Uncertainty has several sources
Input data, parameters, model structure, numerical error and natural variability each contribute, and each needs a different treatment.
Calibration can hide error
Tuning parameters to match past data can make a model fit for the wrong reasons, so validation needs data not used in calibration.
Perigos e exposição na América do Norte.
Flood water, population density and night lights over North America, from NASA GIBS. Each layer carries its own date.
O mapa interativo requer JavaScript. A lista de camadas e as fontes estão abaixo.
Camadas 3
Perigos e exposição, para esta página
Sobre esta camada
- Evidências
- Observado (as nuvens deixam lacunas)
- Fonte
- Produto VIIRS de inundações globais (NASA LANCE)
- Fornecedor
- NASA LANCE
- Licença
- Dados abertos da NASA
- Ano de referência
- diário; detecção por satélite; as nuvens deixam lacunas
- Mais recentes na compilação
- 2026-10-14
- Resolução
- grade de cerca de 250 m
- Incerteza
- Detecção por satélite; as nuvens deixam lacunas. Raster de satélite ou de modelo como o provedor o publica. Nuvens, lacunas de faixa e erro de recuperação deixam lacunas e ruído; os valores são indicadores, não medições em um local.
- Acessado por meio de
- gibs.earthdata.nasa.gov, somente depois que você permitir o mapa ao vivo
Sobre esta camada
- Evidências
- Estimado
- Fonte
- Gridded Population of the World v4.11 (NASA SEDAC (CIESIN, Universidade Columbia))
- Fornecedor
- NASA SEDAC (CIESIN, Universidade Columbia)
- Licença
- CC BY 4.0
- Ano de referência
- null; estimativa baseada em censo, estática (2020)
- Resolução
- grade de cerca de 1 km
- Incerteza
- Estimativa baseada em censos de pessoas por quilômetro quadrado em 2020, exibida como contexto de exposição; não é uma contagem de pessoas afetadas por qualquer ameaça.
- Acessado por meio de
- gibs.earthdata.nasa.gov, somente depois que você permitir o mapa ao vivo
Sobre esta camada
- Evidências
- Observado
- Fonte
- VIIRS Black Marble (VNP46A2) (NASA LAADS DAAC)
- Fornecedor
- NASA LAADS DAAC
- Licença
- Dados abertos da NASA
- Ano de referência
- diário; radiância de satélite, corrigida para luar e atmosfera
- Mais recentes na compilação
- 2026-10-12
- Resolução
- grade de cerca de 500 m
- Incerteza
- Radiância noturna por satélite na data indicada; as luzes são um indicador indireto do uso de eletricidade e de interrupções, não uma medição de fornecimento ou acesso.
- Acessado por meio de
- gibs.earthdata.nasa.gov, somente depois que você permitir o mapa ao vivo
Sobre esta camada
- Evidências
- Observado
- Fonte
- VIIRS NOAA-20, refletância corrigida (NASA LANCE)
- Fornecedor
- NASA LANCE
- Licença
- Dados abertos da NASA
- Ano de referência
- diário; imagem de satélite
- Mais recentes na compilação
- 2026-10-14
- Resolução
- grade de cerca de 250 m
- Incerteza
- Imagem de satélite. Raster de satélite ou de modelo como o provedor o publica. Nuvens, lacunas de faixa e erro de recuperação deixam lacunas e ruído; os valores são indicadores, não medições em um local.
- Acessado por meio de
- gibs.earthdata.nasa.gov, somente depois que você permitir o mapa ao vivo
Sobre esta camada
- Evidências
- Modelado (último ano publicado pelo GIBS)
- Fonte
- MODIS Terra e Aqua, cobertura do solo (MCD12Q1) (NASA LP DAAC)
- Fornecedor
- NASA LP DAAC
- Licença
- Dados abertos da NASA
- Ano de referência
- anual; classificação por satélite; último ano publicado pelo GIBS
- Mais recentes na compilação
- 2024-01-01
- Resolução
- grade de cerca de 500 m
- Incerteza
- Classes de cobertura do solo por satélite para o ano indicado, incluindo terras cultivadas; uma classificação com erros conhecidos, não um cadastro de propriedades agrícolas.
- Acessado por meio de
- gibs.earthdata.nasa.gov, somente depois que você permitir o mapa ao vivo
Sobre esta camada
- Evidências
- Observado (as nuvens e o horário de passagem do satélite deixam lacunas)
- Fonte
- VIIRS NOAA-20 375 m (FIRMS) (NASA LANCE FIRMS)
- Fornecedor
- NASA LANCE FIRMS
- Licença
- Dados abertos da NASA
- Ano de referência
- diário; detecção por satélite; as nuvens e o horário de passagem do satélite deixam lacunas
- Mais recentes na compilação
- 2026-10-13
- Resolução
- grade de cerca de 500 m
- Incerteza
- Detecções por satélite de pontos de calor no dia indicado, incluindo queimas de gás e calor industrial; não é um incêndio confirmado, um relatório de incidente nem um alerta.
- Acessado por meio de
- gibs.earthdata.nasa.gov, somente depois que você permitir o mapa ao vivo
Teclado, com o mapa em foco
Mantenha Ctrl ou ⌘ pressionada e role para ampliar
Mais recente disponível
NASA GIBS / EOSDIS · ASTER GDEM (METI, NASA) · Blue Marble (NASA) · © colaboradores do OpenStreetMap (ODbL) · Natural Earth
Carregando as imagens mais recentes da NASA.
Arraste para mover. Use Ctrl ou ⌘ e role, o gesto de pinça ou os botões para ampliar. Passe o cursor para ver os valores sob o ponteiro. Redefinir volta à região.
Ameaças e exposição, enquadradas na América do Norte.Produtos de satélite e de modelos como a NASA os publica, cada um com sua própria data. São indicadores, não avaliações de nenhum lugar.
Dados: NASA GIBS · ASTER GDEM · Blue Marble · © colaboradores do OpenStreetMap · Natural Earth · NASA EONET · U.S. Geological Survey · NASA JPL OPERA DIST-ALERTFontes e licenças
- We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). Dados abertos da NASA
- We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS). Colours redrawn from the published colour map; values averaged into hexagonal cells where shown (modified). Dados abertos da NASA
- Produtos VIIRS em tempo quase real (cheias, temperatura da superfície terrestre, cobertura de neve, refletância corrigida), NASA LANCE; imagens através da NASA GIBS. Cores redesenhadas a partir do mapa de cores publicado; valores agregados em células hexagonais onde apresentados (modificado). Dados abertos da NASA
- Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). Com licença CC BY 4.0. Cores redesenhadas a partir da paleta publicada; valores com média em células hexagonais quando mostrados (modificado). doi:10.7927/H49C6VHW. CC BY 4.0
- Luzes noturnas VIIRS Black Marble, NASA Goddard Space Flight Center; distribuídas pelo NASA Level-1 and Atmosphere Archive and Distribution System (LAADS DAAC); imagens através da NASA GIBS. Cores redesenhadas a partir do mapa de cores publicado; valores agregados em células hexagonais onde apresentados (modificado). Dados abertos da NASA
- Produtos terrestres MODIS (índices de vegetação, produção primária bruta, ocupação do solo), NASA LP DAAC e LANCE; imagens através da NASA GIBS. Cores redesenhadas a partir do mapa de cores publicado; valores agregados em células hexagonais onde apresentados (modificado). Dados abertos da NASA
- Fire Information for Resource Management System (FIRMS) da NASA, produto de incêndios ativos VIIRS 375 m, NASA LANCE; mosaicos vetoriais através da NASA GIBS. Cores redesenhadas a partir do mapa de cores publicado; valores agregados em células hexagonais onde apresentados (modificado). Dados abertos da NASA
- O ASTER GDEM é um produto do METI e da NASA (ASTER Global Digital Elevation Model V003, NASA LP DAAC); imagens através da NASA GIBS. Cores redesenhadas a partir do mapa de cores publicado; valores agregados em células hexagonais onde apresentados (modificado). Citar como: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. Dados abertos da NASA
- Feito com Natural Earth. Dados cartográficos vetoriais e matriciais gratuitos em naturalearthdata.com. Domínio público
- © Colaboradores do OpenStreetMap (ODbL), via NASA GIBS (costas, limites, estradas e nomes de locais). Cores redesenhadas a partir do mapa de cores publicado; valores com média em células hexagonais onde apresentados (modificado). ODbL
- Blue Marble, NASA Earth Observatory; imagens através da NASA GIBS. Cores redesenhadas a partir do mapa de cores publicado; valores agregados em células hexagonais onde apresentados (modificado). Dados abertos da NASA
- Contexto no globo e no mapa plano: litorais, fronteiras, estradas e nomes de lugares das camadas de referência da NASA GIBS (dados do OpenStreetMap, ODbL, © colaboradores do OpenStreetMap). Imagens Blue Marble como base opcional. Terreno 3D e leitura de elevação a partir do índice de cores de elevação do ASTER GDEM (classes de 5 m a 200 m, exageradas para facilitar a leitura). As fronteiras são desenhadas como publicadas e não implicam posição sobre nenhum território.
- Eventos ao vivo: NASA Earth Observatory Natural Event Tracker (EONET). Os eventos são indicativos e mantêm os links para suas fontes originais.
- Ao vivo: NASA EONET. Os eventos são indicativos, não alertas de autoridades.
- Ao vivo: U.S. Geological Survey. Os eventos são indicativos, não alertas de autoridades.
- Observed (EO): NASA JPL OPERA DIST-ALERT (contains modified Copernicus Sentinel data 2026). We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
- NASA GIBS: We acknowledge the use of imagery provided by services from NASA’s Global Imagery Browse Services (GIBS), part of NASA’s Earth Science Data and Information System (ESDIS).
- Previsão de vazão fluvial, 30 dias com intervalo (GloFAS via Open-Meteo): contém informações modificadas do Copernicus Emergency Management Service 2026. Não é um alerta de inundação.
- Dados meteorológicos por Open-Meteo.com (https://open-meteo.com/), licenciados sob CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/).
- As camadas opcionais (11 fontes na lista de camadas: ao vivo, previsão, observadas e contexto) mostram o crédito do fornecedor no mapa e aqui quando ativadas; as previsões são saídas de modelos e os índices derivados são estimativas.
Camadas e datas
- Água de inundação, composto de 3 dias: VIIRS Global Flood Product, NASA LANCE · 14 out. 2026
- Densidade populacional, 2020: População: CIESIN, Columbia University, Gridded Population of the World v4.11 (2018), NASA SEDAC, CC BY 4.0 · estático
- Luzes noturnas, diárias: VIIRS Black Marble (VNP46A2), NASA LAADS DAAC · 12 out. 2026
- Cor verdadeira: reflectância corrigida VIIRS NOAA-20, NASA LANCE · 13 out. 2026
- Tipo de cobertura do solo (IGBP), anual: MODIS Terra e Aqua cobertura do solo (MCD12Q1), NASA LP DAAC · 2024
- Focos de incêndio ativos e anomalias térmicas: VIIRS NOAA-20 375 m (FIRMS), NASA LANCE FIRMS · 13 out. 2026
Validation must match the decision each domain faces.
Validation studies are designed for the série Methods and Technical. ASME V&V 40, NASA-STD-7009 and Bayesian calibration (Kennedy and O’Hagan, 2001) set practice; análise de sensibilidade is one of the five rules of Saltelli and colleagues (2020).
- Validation datasets.
- Documented model failures.
Model uncertainty and validation as a system. Run the cascade.
Assembled from the Nexus Standards area profile Normas sobre ameaças compostas e em cascata: the hazards it names, the sistemas and sectors that carry the loss, the controls that dampen it and the data that observe it. Choose the components, pick an initiating hazard and step through the cascade. The Map view places the run on an example geography with open data. Every coupling weight is a stated assumption you can change. A teaching model, not a forecast, an assessment or a certification. To model a place of your own choosing, open the full Construtor de sistemas.
Ameaças
- Natech event
- Chemical spill or leak (desencadeado a jusante)
- Emergency-response overload (desencadeado a jusante)
- Toxic gas release (set off downstream)
- Industrial fire (set off downstream)
Sistemas e acoplamentos
Controles
NS-0Constituição e princípiosNS-3UNIs de registros de risco (gramática, correspondência legada, autoridade de atribuição)NS-9UNIs contextuais (implantações, instâncias, instâncias de programa)NS-11Verificação e monitoramento (evidências, atestações, observação da conformidade de confiança zero)NRS-H61Família de perigos: falha em cascata (NHS-1 sys.cascade)NRS-H62Família de ameaças: eventos compostos e multiameaças (NHS-1 sys.compound)NRS-H60Família de ameaças: perturbação de cadeias de abastecimento e fluxos (NHS-1 sys.supply-chain)NRS-H94Família de perigos: eventos cibernéticos sistémicos (NHS-1 cyber.systemic-cyber)NRS-H107Família de perigos: concentração e monocultura da infraestrutura digital (NHS-1 tech.digital-concentration)NRS-H7Família de ameaças: anomalias da circulação de grande escala (NHS-1 atmo.climate-mode)
Observação
- Copernicus EMS rapid mapping activations (listed for reference)
- OpenStreetMap planet and replication (listed for reference)
- ERA5 reanalysis (Copernicus Climate Data Store) (listed for reference)
- Perdas econômicas diretas atribuídas a desastres em relação ao PIB mundial
- Number of disruptions to basic services attributed to disasters
Geografia de exemplo
- Bangladesh: 134 células hexagonais
- Luzes noturnas desta noite, apagões (VIIRS Day/Night Band), NASA GIBS
- Carbon monoxide, smoke transport (AIRS), NASA GIBS
- Vegetation disturbance alerts, 30 m (OPERA DIST-ALERT), NASA GIBS
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Verification tests passed | percent of test suite | por publicação | Model test records | OBSERVADO |
| Validation error against independent data | error metric | per validation | Validation studies | ESTIMADO |
| Prediction interval coverage | percent of observations inside stated intervals | per evaluation | Out-of-sample evaluation | OBSERVADO |
| Sensitivity indices | share of output variance by input | per analysis | Global análise de sensibilidade | MODELADO |
| Models with documented credibility assessment | contagem | por avaliação | Model documentation | DECLARADO |
| Independent reviews completed | contagem | per model | Review records | REPORTADO |
How uncertainty and validation is modelled, measured and tested.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo, equações e pressupostos
The model structure used for uncertainty and validation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamentoEAL = ∑k pk · Lksobre os eventos k com probabilidade anual pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Pressuposto | Porque é feito | Como é testado |
|---|---|---|
| A ameaça e a exposição são independentes dentro de um evento | Mantém tratável o integral de perdas | Comparar com um ajuste de cópula sobre registros conjuntos |
| Os acoplamentos são lineares perto do ponto de funcionamento | Permite que os choques se propaguem através de A | Perturbar para além do intervalo linear e comparar |
| As curvas de vulnerabilidade transferem-se entre lugares | As curvas locais raramente estão disponíveis | Validar face às perdas observadas quando existam |
- Entradas
- conjuntos de dados versionados com proveniência
- Resultados
- distribuições, nunca números isolados
- Código
- publicado com a ficha de modelo e os testes
- Reprodução
- mesmos dados, código, ambiente e semente
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| ASME V&V 10, V&V 20 and V&V 40 | Verification, validation and credibility standards | Licensed standards, purchase required |
| NASA-STD-7009 | Credibility assessment of models and simulations | Public domain, US government |
| IPCC uncertainty guidance note | Linguagem de incerteza calibrada | Public, IPCC terms |
| SALib and other open análise de sensibilidade libraries | Implementations of global sensitivity methods | Open source, MIT licence |
| Published validation studies in each field | Evidence on model performance | Licence per publication |
Quem decide, e a que servem as evidências.
sistemas Science and Modelling prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Model owners | Whether a model is fit for a stated purpose | Credibility assessments; validation reports |
| Decision makers | How much weight to give model results | Uncertainty statements |
| Reviewers and auditors | Whether verification and validation were adequate | Protocols and review records |
Produtos que este tema gera
- Verification and validation protocols for network models
- Uncertainty statements in calibrated language
- Credibility assessments for models used in decisions
- Validation reports against independent data
What experts ask about uncertainty and validation.
- Which sources of uncertainty matter most for the decision at hand?
- How does uncertainty in inputs and parameters propagate to outputs?
- What observations can test the model, and are they independent of calibration data?
- How far beyond the calibration conditions can the model be trusted?
- How should uncertainty be communicated to people who must act on it?
Kinds of uncertainty and why calibration is not validation.
Modellers distinguish aleatory uncertainty, the inherent variability of a system, from epistemic uncertainty, which comes from incomplete knowledge and can in principle be reduced. Structural uncertainty, about whether the model’s equations are right, is often the largest and hardest to quantify. Incerteza profunda arises when experts cannot agree even on probability distributions.
Calibration adjusts parameters so that a model matches observations. A well-calibrated model may still be wrong: many parameter combinations can fit the same data, a problem called equifinality, and a model tuned to past conditions may fail under new ones. Validation therefore requires tests against data not used in calibration, and ideally under different conditions.
Validation is purpose-specific. A model may be adequate for estimating averages but not extremes, or for one region but not another.
Métodos e seus limites.
- 01
Análise de sensibilidade
Identifying which inputs drive output variation. Global methods are computationally demanding.
- 02
Probabilistic propagation
Monte Carlo and related methods, using probabilidade e estatística. Results depend on assumed input distributions.
- 03
Bayesian calibration
Updating parameter beliefs with data and representing model discrepancy. Priors and discrepancy models involve judgement.
- 04
Out-of-sample validation
Testing against independent data, held-out periods or different locations. Suitable data are often scarce for extremes.
No validation proves a model correct. It establishes confidence for a purpose, within stated conditions.
Como é estudado e o que os métodos não podem dizer.
- 01Quantificação da incerteza e validação de modelosOrçamentos de incerteza · Modelos substitutos para simulações dispendiosas · Avaliação da credibilidadeAplicado aqui
- 02Probabilidade e estatísticaCalibração bayesiana · Pontuação própria das previsões · Estatística de conjuntosAplicado aqui
- 03Engenharia de sistemasRequisitos para modelos de decisão · Controle de interfaces para modelos acopladosAplicado aqui
- 04Análise de decisão sob incertezaEnquadrar a decisão antes do modelo · Valor da informação para os modelosAplicado aqui
Where this page’s references lead.
Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.
- ASME V&V 40-2018, assessing credibility of computational modelling (ASME)
- NASA-STD-7009, Padrão para Modelos e Simulações (NASA)
- Kennedy and O’Hagan, Bayesian calibration of computer models, Journal of the Royal Statistical Society Series B 63 (2001)
- Saltelli and others, Five ways to ensure that models serve society: a manifesto, Nature 582 (2020)
Perguntas e respostas.
What is the difference between verification and validation?
Can a model be validated for the future?
What is global sensitivity analysis?
Can uncertainty always be quantified?
What is equifinality?
Does GCRI validate models for regulators?
Why is calibration not enough?
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.