Skip to content

GCRI · Reports

Reihe Labs und Foundry

Labore - und Foundry-Berichte dokumentieren technische Tests: Prototypen, Software, Sensoren, Datenpipelines und Verfahren, die unter festgelegten Bedingungen erprobt wurden. Testevidenz wird leicht überschätzt, denn ein bestandener Test unter kontrollierten Bedingungen wird als Einsatzreife gelesen. Diese Seite beschreibt, wie Testberichte aufgebaut, geprüft und archiviert werden, wie Reifegrade belegt statt behauptet werden und was solche Evidenz für diejenigen leisten kann, die über die Einführung oder Finanzierung einer Technologie entscheiden.

01Registrieren

Labs and foundry series on the record.

02Die Frage

Reihen von Labs und Foundry: wie sich das Risiko entwickelt.

Technische Test- und Bereitschaftsevidenz. Das folgende Dossier legt dar, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.

Mechanismus

Test conditions narrow the claim

A test establishes behaviour under the conditions tested, with the inputs, environment and version used. Reports that omit those conditions invite readers to generalise beyond them.

Mechanismus

Bereitschaft erklärt, nicht nachgewiesen

Technologiereifegrade werden oft selbst zugewiesen. Ohne die Evidenz, die jede Stufe verlangt, gelangt eine Reifeaussage vom Testbericht in die Beschaffungsentscheidung, ohne geprüft zu werden.

Mechanismus

Negative Ergebnisse gehen verloren

Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.

Mechanismus

Versionen ändern sich im Hintergrund

Software und Hardware ändern sich nach dem Test. Ein Ergebnis, das ohne die getestete Version zitiert wird, bezieht sich auf ein System, das in dieser Form möglicherweise nicht mehr existiert.

03Monitoring

Redaktion für Serienproduktion.

Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.

Serienproduktionsstelle

Labs and foundry series · Annual synthesis · Edition 7

Data check behind planGCRI · Reports

Ausgaben in Produktion

JahressyntheseGlobalDatenprüfung81W10
Länderprofil 7LandBegutachtung durch Fachkollegen97W16
WasserausblickSektoralIn Ausarbeitung32W38
Methodenhinweis 4MethodenFreigegeben100erledigt

Datenprüfung, jährliche Synthese

Rückverfolgte Werte, %79 von 100 erforderlichZugewiesene Kennzeichnungen, %95 von 100 erforderlichAngegebene Unsicherheit, %73 von 100 erforderlich

Ausgaben-Pipeline

  1. GliederungGremium
  2. EntwurfAutoren
  3. Datenprüfungjeder Wert
  4. Begutachtung durch Fachkollegenzwei Runden
  5. RedaktionBeschluss
  6. VeröffentlichungDOI
  7. Korrekturenversioniert
Series production desk: the screen’s structure, terms and states for Labs and foundry series.Example names and illustrative values; a design, not a record or a live system.
04In den fünf Domänen

Die Ausgaben von Labs und Foundry berichten, was für jede Domäne getestet und entwickelt wurde.

05Methoden und Evidenz

Wie die Serie Labs und Foundry modelliert, gemessen und getestet wird.

Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.

Modell, Gleichungen und Annahmen

The model structure used for labs and foundry series, the assumptions it makes and how each is tested.

Risiko des Elements iRi = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und Bewältigungskapazität
Erwarteter jährlicher SchadenEAL = ∑k pk · Lkover events k with annual probability pk
Gekoppelte Systemext+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AnnahmeWarum es entstehtWie es geprüft wird
Gefahr und Exposition sind innerhalb eines Ereignisses unabhängigHält das Schadensintegral berechenbarMit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen
Kopplungen sind nahe dem Arbeitspunkt linearLässt Schocks sich über A ausbreitenÜber den linearen Bereich hinaus stören und vergleichen
Vulnerabilitätskurven lassen sich zwischen Orten übertragenLokale Kurven sind selten verfügbarAnhand beobachteter Schäden validieren, wo es sie gibt
Eingaben
versionierte Datensätze mit Herkunftsnachweis
Ergebnisse
Verteilungen, nie einzelne Zahlen
Code
mit Modellkarte und Tests veröffentlicht
Reproduktion
gleiche Daten, Code, Umgebung und Seed
Standardformulierungen für Risiko und Zustandsraum; die aufgeführten Annahmen sind für die Methode typisch und zur Prüfung benannt, keine Ergebnisse.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
Vor dem Test registrierte TestprotokolleProzent der Berichtepro BerichtRegistereinträgeBEOBACHTET
Testberichte mit archiviertem Code, Daten und KonfigurationProzent der Berichtepro BerichtRepository deposit recordsBEOBACHTET
Readiness level claimed and evidence attachedlevel claimed; yes or no for evidencepro BerichtBericht und EvidenzanhangDEKLARIERT
Negative und nicht schlüssige Ergebnisse werden veröffentlichtAnzahl pro ZeitraumjährlichSeries catalogueBERICHTET
Version des getesteten Systems angegebenProzent der Berichtepro BerichtMetadaten des ReportsBEOBACHTET
Unabhängige technische Überprüfung abgeschlossenja oder nein, mit Rolle der prüfenden Personpro BerichtPrüfprotokollDEKLARIERT
07Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
ZenodoArchived test data, configurations and software releases with DOIsMetadaten CC0, Lizenz je Datensatz
Software HeritageArchivierter Quellcode in genau der getesteten RevisionCode unter eigener Lizenz
OSF RegistriesVorab registrierte Testprotokolle und AnalysepläneMetadaten CC0, Lizenz gemäß Registrierung
protocols.ioVeröffentlichte schrittweise Methoden mit Versionen und DOIsLicence per protocol, mostly CC BY
NIST National Vulnerability DatabaseBekannte Schwachstellen von Softwarekomponenten im TestGemeinfrei
08Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

Reports bereitet Evidenz auf. Die nachstehenden Entscheidungen werden von den genannten Behörden nach ihren eigenen Regeln getroffen und niemals von der Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
Gremien für Beschaffung und EinführungWhether a tested technology is ready for a pilot or operational useAnhänge zur Bereitschaftsevidenz, Testbedingungen und bekannte Einschränkungen
Innovation funders and programme managersOb die nächste Entwicklungsphase finanziert werden sollReifegrad mit Evidenz, negativen Ergebnissen und offenen Risiken
Technische BegutachtungsgremienOb ein Prüfbericht vollständig ist und seine Schlussfolgerungen aus der Evidenz folgenRegistered protocols, archived data and version identifiers
Normungs- und KonformitätsbewertungsstellenOb Prüfmethoden für einen künftigen Standard geeignet sindDocumented test procedures and their reproducibility

Ergebnisse, die dieses Thema hervorbringt

  • Testberichte mit Angabe von Bedingungen, Versionen und Akzeptanzkriterien
  • Anhänge mit Reifegradevidenz, die jeder Stufe ihre Evidenz zuordnen
  • Archivierte Konfigurationen und Daten für jeden Test
  • Ein Register negativer und nicht schlüssiger Ergebnisse
09Kernfragen

Was die Serie fragt.

Technische Aussagen über Werkzeuge und Systeme erfordern Evidenz, die andere prüfen können. Ein System, das unter Belastung funktionieren soll, sollte den Test zeigen, der dies belegt, die Testbedingungen und das, was versagt hat. Die Veröffentlichung dieser Evidenz, auch negativer Ergebnisse, schützt vor überzogenen Reifeangaben und hilft Institutionen zu beurteilen, was ein Werkzeug leisten kann und was nicht.

  • Was genau wurde getestet, nach welchem Protokoll, mit welchen Daten und in welcher Umgebung?
  • Was bestanden hat, was durchgefallen ist und was nicht getestet wurde?
  • Stützt die Evidenz den genannten nächsten Schritt, und zwar nur diesen Schritt?
  • Welche Beobachtungen oder Signale rechtfertigen eine weitere Analyse, und wie zuverlässig sind sie?
10Geltungsbereich

Was die Reihe abdeckt.

Drei Reihen berichten Evidenz aus Bau, Test und Beobachtung.

Labore

Experiments and testbeds

Ergebnisse abgeschlossener Protokolle, einschließlich Null- und negativer Ergebnisse.

Foundry

Build and readiness

Evidence about Foundry systems against stated readiness criteria, never as certification.

Signals

Beobachtung

Signals from monitoring, labelled by source and confidence, prompting analysis rather than action.

Die Reihe folgt der Logik der Test- und Bewertungspraxis im Ingenieurwesen: Eine Aussage ist nur so belastbar wie das Protokoll, mit dem sie geprüft wurde, und Einsatzreife ist stets Reife für etwas Bestimmtes. Ein Werkzeug, das einen Labortest bestanden hat, ist nicht feldtauglich, und ein System, das in einer Übung funktioniert hat, hat nicht gezeigt, dass es in jedem Umfeld funktioniert. Die Ausgaben nennen diese Grenzen neben jedem Ergebnis.

11Wie Ausgaben erstellt werden

Wie Ausgaben erstellt werden, und ihre Grenzen.

  1. 01

    Protokolle

    Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.

  2. 02

    Umgebungen

    Die Testbedingungen werden beschrieben; Ergebnisse aus einer Testumgebung lassen sich möglicherweise nicht auf den Live-Betrieb übertragen.

  3. 03

    Reifekriterien

    Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.

  4. 04

    Signalqualität

    Observatoriumssignale geben ihre Quelle, ihre Abdeckung und, soweit bekannt, ihre Fehlalarmcharakteristik an.

12Methoden

Wie es untersucht wird und was die Methoden nicht sagen können.

  1. Datentechnik, Interoperabilität und DatenverantwortungStrukturiertes Publizieren in JATS XML · Persistente Identifikatoren über den gesamten EintragHier angewandt
  2. Unsicherheitsquantifizierung und ModellvalidierungKalibrierte Sprache in Bewertungen · Einstufungen der EvidenzsicherheitHier angewandt
  3. Wahrscheinlichkeit und StatistikMetaanalyse mit angegebener Heterogenität · Verzerrung durch kleine Studien und PublikationsbiasHier angewandt
13Where this page’s references

Where this page’s references lead.

Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.

14Fragen

Fragen und Antworten.

Was ist ein Technologie-Reifegrad?
Eine Skala, die beschreibt, wie weit eine Technologie von den Grundprinzipien bis zum nachgewiesenen Betrieb fortgeschritten ist. Jede Stufe erfordert bestimmte Evidenz; eine Stufe ohne diese Evidenz ist eine Erklärung, kein Nachweis.
Warum werden gescheiterte Tests veröffentlicht?
Weil eine Bilanz allein aus Erfolgen irreführt. Negative und nicht schlüssige Ergebnisse zeigen, wo eine Technologie nicht funktioniert, und verhindern, dass andere denselben Test wiederholen.
Bedeutet ein bestandener Test, dass ein System sicher ist?
Nein. Es bedeutet, dass das System die festgelegten Kriterien unter den festgelegten Bedingungen erfüllt hat. Sicherheit hängt von Nutzung, Kontext und Bedingungen ab, die der Test möglicherweise nicht abgedeckt hat.
Bedeutet ein Bereitschaftsbericht, dass ein System zugelassen ist?
Nein. Bereitschaft ist die Eignung für einen bestimmten nächsten Schritt innerhalb eines bestimmten Umfangs. Sie ist weder eine Genehmigung noch eine Zertifizierung noch eine Aussage, dass ein Dienst in Betrieb ist.
Werden fehlgeschlagene Tests veröffentlicht?
Ja. Negative und Nullergebnisse sind Teil der Evidenz; ihr Weglassen würde den Reifegrad überzeichnen.
Can vendors publish results in the series?
Results appear only from protocols run under the programme’s review. Vendor claims are labelled Institution-reported if cited at all.
Sind Observatoriumssignale Warnungen?
Nein. Sie regen Analysen an. Warnungen verbleiben bei den zuständigen Behörden.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

GCRIBerichteGlobales Systemrisiko und ResilienzRisiko und Resilienz nationaler SystemeLänder-Quartalsbericht
Berichte

Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.