Skip to content

GCRI · Foundry

Modellierung und Simulation

Risikomodelle reichen von hydrodynamischen Hochwassersimulationen und Lastflussstudien bis zu agentenbasierten Evakuierungsmodellen und statistischen Verlustmodellen. Sie teilen drei technische Anforderungen: genügend Rechenleistung für Ensembles, genügend Disziplin, um einen Lauf Monate später zu reproduzieren, und genügend Ehrlichkeit, um zu benennen, was das Modell nicht abbilden kann. Diese Seite legt dar, wie Modellfehler entstehen, sich durch Kopplung verstärken und Entscheidungen erreichen, wie Reproduzierbarkeit technisch gewährleistet wird und wo die Grenzen liegen.

01Registrieren

Modellierung und Simulation im Protokoll.

02Die Frage

Modellierung und Simulation: wie sich das Risiko entwickelt.

Workloads, reproducibility and limits. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mechanismus

Structural and parameter error

Jedes Modell lässt Prozesse aus und legt Parameter anhand begrenzter Daten fest. Die Kalibrierung kann die Vergangenheit aus den falschen Gründen abbilden, sodass ein Modell, das die Historie trifft, unter den Bedingungen, um die es bei einer Entscheidung tatsächlich geht, dennoch versagen kann.

Mechanismus

Kopplung verstärkt Fehler

Wenn ein Hochwassermodell ein Stromnetzmodell speist, das wiederum ein Modell zur Kontinuität von Krankenhäusern speist, erzeugen abweichende Zeitschritte, Raster, Einheiten oder Annahmen plausible, aber falsche Kaskaden. Jede Übergabe braucht einen erklärten Vertrag und einen eigenen Sensitivitätstest.

Mechanismus

Environment drift

Ein Compiler-Flag, ein Bibliotheksupdate, ein anderer Prozessor oder ein nicht erfasster Zufallsstartwert verändert die Ergebnisse. Ohne fixierte Container, versionierten Code und erfasste Konfiguration lässt sich ein Lauf nicht wiederholen und eine Änderung der Ausgabe nicht erklären.

Mechanismus

Extrapolation

Modelle werden für einen Bereich von Bedingungen validiert und dann darüber hinaus eingesetzt: ein neues Klima, ein größeres Ereignis, eine andere Stadt. Außerhalb des validierten Bereichs ist ein Modell eine Annahme mit angehängter Zahl, und seine Kennzeichnung muss das ausweisen.

03Methoden und Evidenz

Wie Modellierung und Simulation modelliert, gemessen und getestet werden.

Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.

Modell, Gleichungen und Annahmen

Die für Modellierung und Simulation verwendete Modellstruktur, die zugrunde liegenden Annahmen und die Art, wie jede davon geprüft wird.

Risiko des Elements iRi = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und Bewältigungskapazität
Erwarteter jährlicher SchadenEAL = ∑k pk · Lkover events k with annual probability pk
Gekoppelte Systemext+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AnnahmeWarum es entstehtWie es geprüft wird
Gefahr und Exposition sind innerhalb eines Ereignisses unabhängigHält das Schadensintegral berechenbarMit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen
Kopplungen sind nahe dem Arbeitspunkt linearLässt Schocks sich über A ausbreitenÜber den linearen Bereich hinaus stören und vergleichen
Vulnerabilitätskurven lassen sich zwischen Orten übertragenLokale Kurven sind selten verfügbarAnhand beobachteter Schäden validieren, wo es sie gibt
Eingaben
versionierte Datensätze mit Herkunftsnachweis
Ergebnisse
Verteilungen, nie einzelne Zahlen
Code
mit Modellkarte und Tests veröffentlicht
Reproduktion
gleiche Daten, Code, Umgebung und Seed
Standardformulierungen für Risiko und Zustandsraum; die aufgeführten Annahmen sind für die Methode typisch und zur Prüfung benannt, keine Ergebnisse.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
04In den fünf Domänen

Modelle in Foundry sind darauf ausgelegt, die Domänen zu koppeln.

05Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
Runs reproduced from recorded inputsAnteil der StichprobenläufevierteljährlichRe-execution auditBEOBACHTET
Hindcast-Güte für einen zurückgehaltenen Zeitraummodellspezifischer Skill-Scoreje ModellversionValidation against observationsMODELLIERT
Ensemblestreuungunits of the output variableje DurchlaufsatzEnsemble-StatistikenMODELLIERT
Jeder Unsicherheitsquelle zugeschriebene VarianzAnteil nach Eingabe, Parameter und Strukturje StudieGlobal sensitivity analysisMODELLIERT
Prüfungen der Kopplungsschnittstellen bestandenproportion of hand-offspro LaufPrüfungen von Einheiten, Raster und ZeitangabenBEOBACHTET
Conservation closure errorEinheiten der Erhaltungsgrößepro LaufModel diagnosticsBEOBACHTET
Model versions in use with independent reviewAnteil der Versionenpro VersionPrüfunterlagenBEOBACHTET
Pro Ensemblemitglied berechnenKernstunden oder GPU-Stundenpro LaufAbrechnung des SchedulersBEOBACHTET
06Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
ERA5 reanalysis (Copernicus Climate Change Service)Hourly atmospheric and land forcing for hindcasts and validationKostenlos und offen, Namensnennung
CMIP6 through the Earth System Grid FederationKlimamodellprojektionen für den SzenarioantriebCC BY 4.0 for most models
Ausgaben der ISIMIP-WirkungsmodelleHarmonisierte sektorale Wirkungssimulationen für den IntervergleichCC BY 4.0 für die meisten Ergebnisse
NASA EarthdataSatellitenbeobachtungen zur ModellbewertungFrei und offen, Datenpolitik der NASA
ZenodoVersionierte, zitierfähige Archive von Modellcode, Konfiguration und DatenausschnittenLizenz je Datensatz
Software-Heritage-ArchivLangzeitarchivierung und persistente Identifikatoren für QuellcodeFree access, licence of each repository
07Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

Foundry bereitet Evidenz auf. Die nachstehenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln, nie die Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
Programme owners in ministriesOb ein Modell geeignet ist, eine Politik- oder Investitionsentscheidung zu stützenGültigkeitsbereich, Sensitivität, unabhängige Begutachtung und ausgewiesene Grenzen
Leitung der ModellprüfungOb eine Modellversion für eine Fragestellung verwendet werden darf und mit welchen VorbehaltenHindcast-Güte, Extrapolationsprüfung, Reproduktionstest
InfrastrukturbetreiberWhether model scenarios are credible enough to size precautionsEnsemblestreuung, Kopplungsannahmen, Vergleich mit vergangenen Ereignissen
Forschungsförderer und Herausgeber von FachzeitschriftenOb Ergebnisse reproduzierbar genug sind, um sie zu veröffentlichen oder weiter zu fördernArchivierter Code, Datenschnitte und das Protokoll der erneuten Ausführung

Ergebnisse, die dieses Thema hervorbringt

  • Laufprotokolle mit Datenstand, Codeversion, Container-Digest und Konfiguration
  • Validierungsberichte mit Angabe der Gültigkeitsbedingungen
  • Ensembles with spread and sensitivity attribution
  • Coupling contracts declaring units, time steps and grids
08Kernfragen

Was Modellierende fragen, bevor sie einem Ergebnis vertrauen.

  • Lässt sich dieser Lauf exakt reproduzieren, mit demselben Datenschnitt, derselben Code-Version und derselben Konfiguration?
  • Wurde das Modell anhand von Beobachtungen für die Bedingungen validiert, in denen es nun eingesetzt wird?
  • Wie viel der Streuung der Ergebnisse stammt aus Eingaben, Parametern und Modellstruktur?
  • Tauschen gekoppelte Modelle Variablen mit konsistenten Einheiten, zeitlicher Abstimmung und Annahmen aus?
09Mechanismen

Workloads, ensembles and coupling.

Die meisten Risikofragen erfordern viele Durchläufe statt eines einzigen: Ensembles über Klimaszenarien, Monte-Carlo-Stichproben über unsichere Parameter oder Variationen über Anpassungsoptionen. Diese sind dafür ausgelegt, über NXS-COR (Rechenleistung, Knoten und Laufzeitumgebungen) auf Cloud, privater Infrastruktur und Edge-Knoten eingeplant zu werden. NXS-LAB (Forschung, Experimente und Simulationen) stellt gesteuerte Experimente und reproduzierbare Berechnungen bereit, und NXS-DSS (Entscheidungsfälle und Beratung) überführt die Ergebnisse in Abwägungen von Optionen für Entscheidungsträger.

Kopplung ist der Ort, an dem sich Fehler verbergen. Wenn ein Hochwassermodell ein Stromnetzmodell speist, das wiederum ein Modell zur Betriebskontinuität von Krankenhäusern speist, können nicht abgestimmte Zeitschritte, räumliche Raster oder Einheitenkonventionen plausible, aber falsche Kaskaden erzeugen. Explizite Schnittstellen, offengelegte Annahmen bei jeder Übergabe und Sensitivitätstests der Kopplung selbst sind die üblichen Schutzmaßnahmen.

10Reproduzierbarkeit und Grenzen

Wie Ergebnisse korrekt gehalten werden.

Versionen

Fixierte Eingaben

Eingefrorene Datenschnitte, versionierter Code und aufgezeichnete Konfigurationen, damit ein Lauf wiederholt werden kann.

Validierung

Im Vergleich zu Beobachtungen

Hindcasts und Prüfungen außerhalb der Stichprobe, mit angegebenen Gültigkeitsbedingungen.

Unsicherheit

Benannt, nicht verborgen

Results carry their spread and the main sources of uncertainty.

Limits: reproducibility proves a run can be repeated, not that the model is right. Models extrapolated beyond their validated range, or used for questions they were not built for, remain the most common source of misleading results. Independent review of model choice, separate from the team that built the model, is the standard safeguard.

11Methoden

Wie es untersucht wird und was die Methoden nicht sagen können.

  1. Hochleistungs-, Cloud- und Edge-ComputingEnsemble-Planung über Stufen hinweg · Föderierte Ausführung direkt bei den DatenHier angewandt
  2. SystemtechnikKanonisches Systeminventar · Contract-first-Schnittstellen · Auf Evidenz rückführbare AnforderungenHier angewandt
  3. Künstliche Intelligenz und maschinelles LernenErdbeobachtungsmodelle mit räumlicher Validierung · Model Cards und FreigabeprotokolleHier angewandt
  4. Datentechnik, Interoperabilität und DatenverantwortungValidierung an der Einlesegrenze · Eingefrorene Datenstände für reproduzierbare ProdukteHier angewandt
  5. Software- und sicherheitskritische SystemtechnikFail-closed-Richtlinienschranken · Build-Herkunft und Stücklisten · Assurance CasesHier angewandt
12Where this page’s references

Where this page’s references lead.

Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.

13Fragen

Fragen und Antworten.

Can a result be reproduced exactly?
Auf demselben Hardware- und Software-Stack, oft Bit für Bit. Über Prozessoren, Compiler oder parallele Anordnungen hinweg können sich die Ergebnisse in den letzten Stellen unterscheiden. Daher wird die Reproduktion an einer angegebenen Toleranz gemessen, und jede größere Abweichung wird untersucht.
Why run ensembles instead of one best run?
Because inputs, parameters and model structure are uncertain. An ensemble shows the spread a decision must allow for; a single run hides it.
Was ist ein Kopplungsvertrag?
Eine erklärte Vereinbarung bei jeder Modellübergabe zu Variablen, Einheiten, Zeitschritt, Gitter und Annahmen. Sie wird bei jedem Lauf geprüft, sodass eine Abweichung sichtbar scheitert, statt eine plausible, aber falsche Kaskade zu erzeugen.
Kann ich in Foundry mein eigenes Modell ausführen?
Inside an authorised project, once a compute allocation and the data owners’ terms are in place. The model, its container and its configuration are recorded with every run.
Are model results published automatically?
Nein. Ergebnisse verbleiben im Projekt, bis eine Prüferin oder ein Prüfer sie akzeptiert und, bei öffentlichem Material, eine Freigabeentscheidung für die öffentliche Unbedenklichkeit protokolliert ist.
Does running a model in Labs validate it?
Nein. Versuchsergebnisse sind keine Zertifizierung. Die Validierung ist eine eigene, dokumentierte Bewertung.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

GCRIFoundryFoundry Build and Readiness
Foundry

Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.