Skip to content

GCRI · Reports

Série Labs et Foundry

Labs and foundry reports record technical tests: prototypes, software, sensors, data pipelines and procedures exercised under stated conditions. Test evidence is easy to overstate, because a passed test under controlled conditions is read as readiness for use. This page sets out how test reports are structured, reviewed and archived, how readiness levels are evidenced rather than declared, and what such evidence can support for those deciding whether to adopt or fund a technology.

02La question

Séries Labs et Foundry : comment le risque se développe.

Éléments d'essai technique et de préparation. Le dossier ci-dessous expose l'évolution du risque, ce qui est mesuré, l'origine des données, la manière dont elles sont modélisées et qui décide.

Mécanisme

Test conditions narrow the claim

A test establishes behaviour under the conditions tested, with the inputs, environment and version used. Reports that omit those conditions invite readers to generalise beyond them.

Mécanisme

Préparation déclarée, non démontrée

Les niveaux de maturité technologique sont souvent attribués par les concepteurs eux-mêmes. Sans les données probantes que chaque niveau exige, une déclaration de maturité passe du rapport d'essai à la décision d'achat sans vérification.

Mécanisme

Les résultats négatifs disparaissent

Les tests échoués ou non concluants sont rarement consignés, de sorte que la littérature publiée surestime les taux de réussite et que d'autres répètent des tests déjà échoués.

Mécanisme

Les versions changent en profondeur

Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.

03Suivi

Bureau de production des séries.

L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.

Bureau de production des séries

Séries Labs et Foundry · Synthèse annuelle · Édition 7

Data check behind planGCRI · Reports

Éditions en production

Synthèse annuelleMondialVérification des données81W10
Profil de pays 7PaysÉvaluation par les pairs97W16
Perspectives hydriquesSectorielRédaction32W38
Note méthodologique 4MéthodesPublié100terminé

Contrôle des données, synthèse annuelle

Valeurs retracées, %79 sur 100 requisÉtiquettes attribuées, %95 sur 100 requisIncertitude indiquée, %73 sur 100 requis

Chaîne de production des éditions

  1. Planconseil
  2. Brouillonauteurs
  3. Vérification des donnéeschaque valeur
  4. Évaluation par les pairsdeux tours
  5. Éditorialdécision
  6. VersionDOI
  7. Rectificatifsversionné
Series production desk: the screen’s structure, terms and states for Labs and foundry series.Example names and illustrative values; a design, not a record or a live system.
04Dans les cinq domaines

Labs and Foundry editions report what was tested and built for each domain.

05Méthodes et preuves

How labs and foundry series is modelled, measured and tested.

Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.

Modèle, équations et hypothèses

La structure de modèle utilisée pour les séries labs et foundry, les hypothèses qu'elle pose et la manière dont chacune est testée.

Risque de l'élément iRi = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire face
Perte annuelle attendueEAL = ∑k pk · Lkover events k with annual probability pk
Systèmes couplésxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
HypothèsePourquoi il est réaliséComment il est testé
Aléa et exposition sont indépendants au sein d'un événementGarde l'intégrale des pertes calculableComparer avec un ajustement de copule sur des relevés conjoints
Les couplages sont linéaires près du point de fonctionnementLaisse les chocs se propager à travers APerturber au-delà de la plage linéaire et comparer
Les courbes de vulnérabilité se transposent d'un lieu à l'autreLes courbes locales sont rarement disponiblesValider par rapport aux pertes observées lorsqu'elles existent
Entrées
jeux de données versionnés avec provenance
Productions
des distributions, jamais des nombres isolés
Code
publié avec la fiche de modèle et les tests
Reproduction
mêmes données, code, environnement et graine
Formulations standard du risque et de l'espace d'états ; les hypothèses énumérées sont typiques de la méthode, énoncées pour examen, et non des résultats.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Protocoles d'essai enregistrés avant les essaispourcentage des rapportspar rapportDossiers du registreOBSERVÉ
Rapports de test avec code, données et configuration archivéspourcentage des rapportspar rapportRepository deposit recordsOBSERVÉ
Niveau de préparation déclaré et données probantes jointeslevel claimed; yes or no for evidencepar rapportRapport et annexe des données probantesDÉCLARÉ
Negative and inconclusive results publishednombre par périodeannuelCatalogue des sériesDÉCLARÉ
Version du système testé identifiéepourcentage des rapportspar rapportMétadonnées du rapportOBSERVÉ
Revue technique indépendante achevéeoui ou non, avec le rôle du relecteurpar rapportDossier de revueDÉCLARÉ
07Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
ZenodoArchived test data, configurations and software releases with DOIsMétadonnées CC0, licence par enregistrement
Software HeritagePreserved source code at the exact revision testedCode under its own licence
OSF RegistriesProtocoles d'essai et plans d'analyse préenregistrésMetadata CC0, licence per registration
protocols.ioMéthodes pas à pas publiées, avec versions et DOILicence per protocol, mostly CC BY
Base nationale de vulnérabilités du NISTKnown vulnerabilities for software components under testDomaine public
08Décisions

Qui décide, et à quoi servent les données probantes.

Reports prépare les éléments probants. Les décisions ci-dessous sont prises par les autorités désignées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
Comités d'achat et d'adoptionWhether a tested technology is ready for a pilot or operational useAnnexes de données probantes sur l'état de préparation, conditions d'essai et limites connues
Bailleurs de fonds de l'innovation et responsables de programmesFinancer ou non la prochaine étape de développementReadiness level with its evidence, negative results and open risks
Groupes d'examen techniqueWhether a test report is complete and its conclusions follow from the evidenceProtocoles enregistrés, données archivées et identifiants de version
Standards and conformity assessment bodiesSi des méthodes d'essai conviennent à un futur standardProcédures d'essai documentées et leur reproductibilité

Résultats que produit ce thème

  • Rapports d'essai indiquant les conditions, les versions et les critères d'acceptation
  • Annexes de données probantes sur l'état de préparation, associant chaque niveau à ses données probantes
  • Configurations et données archivées pour chaque test
  • A register of negative and inconclusive results
09Questions essentielles

Les questions posées par la série.

Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.

  • What exactly was tested, under which protocol, with which data and in which environment?
  • What passed, what failed and what was not tested?
  • Les données probantes appuient-elles l'étape suivante annoncée, et uniquement cette étape ?
  • Quelles observations ou quels signaux justifient une analyse approfondie, et quelle est leur fiabilité ?
10Périmètre

Ce que couvre la série.

Three series report evidence from building, testing and observing.

Laboratoires

Experiments and testbeds

Résultats de protocoles achevés, y compris les résultats nuls et négatifs.

Foundry

Build and readiness

Données probantes sur les systèmes de Foundry au regard de critères de préparation énoncés, jamais à titre de certification.

Signals

Observation

Signaux issus de la surveillance, étiquetés selon la source et le niveau de confiance, qui appellent une analyse plutôt qu'une action.

La série suit la logique des pratiques d'essai et d'évaluation en ingénierie : une affirmation ne vaut que par le protocole qui l'a testée, et la préparation est toujours une préparation à quelque chose de précis. Un outil qui a réussi un essai en laboratoire n'est pas prêt pour un usage sur le terrain, et un système qui a fonctionné lors d'un exercice n'a pas démontré qu'il fonctionnera dans tous les contextes. Les éditions indiquent ces limites à côté de chaque résultat.

11Comment les éditions sont construites

Comment les éditions sont construites, et leurs limites.

  1. 01

    Protocoles

    Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.

  2. 02

    Environnements

    Les conditions d'essai sont décrites ; les résultats obtenus sur un banc d'essai peuvent ne pas être transposables à l'exploitation réelle.

  3. 03

    Critères de maturité

    Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.

  4. 04

    Qualité du signal

    Les signaux de l'observatoire indiquent leur source, leur couverture et leurs caractéristiques de fausses alertes lorsqu'elles sont connues.

12Méthodes

Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.

  1. Ingénierie, interopérabilité et intendance des donnéesPublication structurée en JATS XML · Identifiants pérennes dans l'ensemble du registreAppliqué ici
  2. Quantification de l'incertitude et validation des modèlesLangage calibré dans les évaluations · Niveaux de certitude des données probantesAppliqué ici
  3. Probabilités et statistiquesMéta-analyse avec hétérogénéité déclarée · Biais des petites études et de publicationAppliqué ici
13Where this page’s references

Where this page’s references lead.

Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.

14Questions

Questions et réponses.

Qu'est-ce qu'un niveau de maturité technologique ?
A scale describing how far a technology has progressed from basic principles to demonstrated operation. Each level requires specific evidence; a level stated without that evidence is a declaration, not a demonstration.
Pourquoi publier les essais échoués ?
Because a record of successes alone misleads. Negative and inconclusive results show where a technology does not work and stop others repeating the same test.
Does a passed test mean a system is safe?
Non. Cela signifie que le système a satisfait aux critères énoncés dans les conditions énoncées. La sécurité dépend de l'usage, du contexte et de conditions que l'essai peut ne pas avoir couverts.
Does a readiness report mean a system is approved?
Non. La maturité est l'aptitude à franchir une étape suivante déterminée, dans un périmètre déterminé. Ce n'est ni une approbation, ni une certification, ni une déclaration selon laquelle un service est en exploitation.
Les tests échoués sont-ils publiés ?
Oui. Les résultats négatifs et nuls font partie des données probantes ; les omettre conduirait à surestimer le niveau de préparation.
Can vendors publish results in the series?
Results appear only from protocols run under the programme’s review. Vendor claims are labelled Institution-reported if cited at all.
Are observatory signals warnings?
Non. Elles déclenchent une analyse. Les alertes demeurent du ressort des autorités compétentes.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

GCRIRapportsRisque et résilience des systèmes mondiauxRisques et résilience des systèmes nationauxTrimestriel pays
Rapports

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.