GCRI · Reports
Reihe Labs und Foundry
Labore - und Foundry-Berichte dokumentieren technische Tests: Prototypen, Software, Sensoren, Datenpipelines und Verfahren, die unter festgelegten Bedingungen erprobt wurden. Testevidenz wird leicht überschätzt, denn ein bestandener Test unter kontrollierten Bedingungen wird als Einsatzreife gelesen. Diese Seite beschreibt, wie Testberichte aufgebaut, geprüft und archiviert werden, wie Reifegrade belegt statt behauptet werden und was solche Evidenz für diejenigen leisten kann, die über die Einführung oder Finanzierung einer Technologie entscheiden.
Labs and foundry series on the record.
Reihen von Labs und Foundry: wie sich das Risiko entwickelt.
Technische Test- und Bereitschaftsevidenz. Das folgende Dossier legt dar, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.
Test conditions narrow the claim
A test establishes behaviour under the conditions tested, with the inputs, environment and version used. Reports that omit those conditions invite readers to generalise beyond them.
Bereitschaft erklärt, nicht nachgewiesen
Technologiereifegrade werden oft selbst zugewiesen. Ohne die Evidenz, die jede Stufe verlangt, gelangt eine Reifeaussage vom Testbericht in die Beschaffungsentscheidung, ohne geprüft zu werden.
Negative Ergebnisse gehen verloren
Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.
Versionen ändern sich im Hintergrund
Software und Hardware ändern sich nach dem Test. Ein Ergebnis, das ohne die getestete Version zitiert wird, bezieht sich auf ein System, das in dieser Form möglicherweise nicht mehr existiert.
Redaktion für Serienproduktion.
Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Serienproduktionsstelle
Labs and foundry series · Annual synthesis · Edition 7
Ausgaben in Produktion
| Jahressynthese | Global | Datenprüfung | 81 | W10 |
| Länderprofil 7 | Land | Begutachtung durch Fachkollegen | 97 | W16 |
| Wasserausblick | Sektoral | In Ausarbeitung | 32 | W38 |
| Methodenhinweis 4 | Methoden | Freigegeben | 100 | erledigt |
Datenprüfung, jährliche Synthese
Ausgaben-Pipeline
- GliederungGremium
- EntwurfAutoren
- Datenprüfungjeder Wert
- Begutachtung durch Fachkollegenzwei Runden
- RedaktionBeschluss
- VeröffentlichungDOI
- Korrekturenversioniert
Die Ausgaben von Labs und Foundry berichten, was für jede Domäne getestet und entwickelt wurde.
Editions carry verification evidence under NS-11 of the proposed Nexus Standards. A test result is not an approval.
- Negative Ergebnisse.
- Replikationen.
Wie die Serie Labs und Foundry modelliert, gemessen und getestet wird.
Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.
Modell, Gleichungen und Annahmen
The model structure used for labs and foundry series, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und BewältigungskapazitätEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Annahme | Warum es entsteht | Wie es geprüft wird |
|---|---|---|
| Gefahr und Exposition sind innerhalb eines Ereignisses unabhängig | Hält das Schadensintegral berechenbar | Mit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen |
| Kopplungen sind nahe dem Arbeitspunkt linear | Lässt Schocks sich über A ausbreiten | Über den linearen Bereich hinaus stören und vergleichen |
| Vulnerabilitätskurven lassen sich zwischen Orten übertragen | Lokale Kurven sind selten verfügbar | Anhand beobachteter Schäden validieren, wo es sie gibt |
- Eingaben
- versionierte Datensätze mit Herkunftsnachweis
- Ergebnisse
- Verteilungen, nie einzelne Zahlen
- Code
- mit Modellkarte und Tests veröffentlicht
- Reproduktion
- gleiche Daten, Code, Umgebung und Seed
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Vor dem Test registrierte Testprotokolle | Prozent der Berichte | pro Bericht | Registereinträge | BEOBACHTET |
| Testberichte mit archiviertem Code, Daten und Konfiguration | Prozent der Berichte | pro Bericht | Repository deposit records | BEOBACHTET |
| Readiness level claimed and evidence attached | level claimed; yes or no for evidence | pro Bericht | Bericht und Evidenzanhang | DEKLARIERT |
| Negative und nicht schlüssige Ergebnisse werden veröffentlicht | Anzahl pro Zeitraum | jährlich | Series catalogue | BERICHTET |
| Version des getesteten Systems angegeben | Prozent der Berichte | pro Bericht | Metadaten des Reports | BEOBACHTET |
| Unabhängige technische Überprüfung abgeschlossen | ja oder nein, mit Rolle der prüfenden Person | pro Bericht | Prüfprotokoll | DEKLARIERT |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| Zenodo | Archived test data, configurations and software releases with DOIs | Metadaten CC0, Lizenz je Datensatz |
| Software Heritage | Archivierter Quellcode in genau der getesteten Revision | Code unter eigener Lizenz |
| OSF Registries | Vorab registrierte Testprotokolle und Analysepläne | Metadaten CC0, Lizenz gemäß Registrierung |
| protocols.io | Veröffentlichte schrittweise Methoden mit Versionen und DOIs | Licence per protocol, mostly CC BY |
| NIST National Vulnerability Database | Bekannte Schwachstellen von Softwarekomponenten im Test | Gemeinfrei |
Wer entscheidet und wozu die Evidenz dient.
Reports bereitet Evidenz auf. Die nachstehenden Entscheidungen werden von den genannten Behörden nach ihren eigenen Regeln getroffen und niemals von der Plattform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Gremien für Beschaffung und Einführung | Whether a tested technology is ready for a pilot or operational use | Anhänge zur Bereitschaftsevidenz, Testbedingungen und bekannte Einschränkungen |
| Innovation funders and programme managers | Ob die nächste Entwicklungsphase finanziert werden soll | Reifegrad mit Evidenz, negativen Ergebnissen und offenen Risiken |
| Technische Begutachtungsgremien | Ob ein Prüfbericht vollständig ist und seine Schlussfolgerungen aus der Evidenz folgen | Registered protocols, archived data and version identifiers |
| Normungs- und Konformitätsbewertungsstellen | Ob Prüfmethoden für einen künftigen Standard geeignet sind | Documented test procedures and their reproducibility |
Ergebnisse, die dieses Thema hervorbringt
- Testberichte mit Angabe von Bedingungen, Versionen und Akzeptanzkriterien
- Anhänge mit Reifegradevidenz, die jeder Stufe ihre Evidenz zuordnen
- Archivierte Konfigurationen und Daten für jeden Test
- Ein Register negativer und nicht schlüssiger Ergebnisse
Was die Serie fragt.
Technische Aussagen über Werkzeuge und Systeme erfordern Evidenz, die andere prüfen können. Ein System, das unter Belastung funktionieren soll, sollte den Test zeigen, der dies belegt, die Testbedingungen und das, was versagt hat. Die Veröffentlichung dieser Evidenz, auch negativer Ergebnisse, schützt vor überzogenen Reifeangaben und hilft Institutionen zu beurteilen, was ein Werkzeug leisten kann und was nicht.
- Was genau wurde getestet, nach welchem Protokoll, mit welchen Daten und in welcher Umgebung?
- Was bestanden hat, was durchgefallen ist und was nicht getestet wurde?
- Stützt die Evidenz den genannten nächsten Schritt, und zwar nur diesen Schritt?
- Welche Beobachtungen oder Signale rechtfertigen eine weitere Analyse, und wie zuverlässig sind sie?
Was die Reihe abdeckt.
Drei Reihen berichten Evidenz aus Bau, Test und Beobachtung.
Experiments and testbeds
Ergebnisse abgeschlossener Protokolle, einschließlich Null- und negativer Ergebnisse.
Build and readiness
Evidence about Foundry systems against stated readiness criteria, never as certification.
Beobachtung
Signals from monitoring, labelled by source and confidence, prompting analysis rather than action.
Die Reihe folgt der Logik der Test- und Bewertungspraxis im Ingenieurwesen: Eine Aussage ist nur so belastbar wie das Protokoll, mit dem sie geprüft wurde, und Einsatzreife ist stets Reife für etwas Bestimmtes. Ein Werkzeug, das einen Labortest bestanden hat, ist nicht feldtauglich, und ein System, das in einer Übung funktioniert hat, hat nicht gezeigt, dass es in jedem Umfeld funktioniert. Die Ausgaben nennen diese Grenzen neben jedem Ergebnis.
Wie Ausgaben erstellt werden, und ihre Grenzen.
- 01
Protokolle
Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.
- 02
Umgebungen
Die Testbedingungen werden beschrieben; Ergebnisse aus einer Testumgebung lassen sich möglicherweise nicht auf den Live-Betrieb übertragen.
- 03
Reifekriterien
Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.
- 04
Signalqualität
Observatoriumssignale geben ihre Quelle, ihre Abdeckung und, soweit bekannt, ihre Fehlalarmcharakteristik an.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Datentechnik, Interoperabilität und DatenverantwortungStrukturiertes Publizieren in JATS XML · Persistente Identifikatoren über den gesamten EintragHier angewandt
- 02Unsicherheitsquantifizierung und ModellvalidierungKalibrierte Sprache in Bewertungen · Einstufungen der EvidenzsicherheitHier angewandt
- 03Wahrscheinlichkeit und StatistikMetaanalyse mit angegebener Heterogenität · Verzerrung durch kleine Studien und PublikationsbiasHier angewandt
Where this page’s references lead.
Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.
Fragen und Antworten.
Was ist ein Technologie-Reifegrad?
Warum werden gescheiterte Tests veröffentlicht?
Bedeutet ein bestandener Test, dass ein System sicher ist?
Bedeutet ein Bereitschaftsbericht, dass ein System zugelassen ist?
Werden fehlgeschlagene Tests veröffentlicht?
Can vendors publish results in the series?
Sind Observatoriumssignale Warnungen?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.