GCRI · Reports
Série Labs et Foundry
Labs and foundry reports record technical tests: prototypes, software, sensors, data pipelines and procedures exercised under stated conditions. Test evidence is easy to overstate, because a passed test under controlled conditions is read as readiness for use. This page sets out how test reports are structured, reviewed and archived, how readiness levels are evidenced rather than declared, and what such evidence can support for those deciding whether to adopt or fund a technology.
Les séries Labs et Foundry au dossier.
Séries Labs et Foundry : comment le risque se développe.
Éléments d'essai technique et de préparation. Le dossier ci-dessous expose l'évolution du risque, ce qui est mesuré, l'origine des données, la manière dont elles sont modélisées et qui décide.
Test conditions narrow the claim
A test establishes behaviour under the conditions tested, with the inputs, environment and version used. Reports that omit those conditions invite readers to generalise beyond them.
Préparation déclarée, non démontrée
Les niveaux de maturité technologique sont souvent attribués par les concepteurs eux-mêmes. Sans les données probantes que chaque niveau exige, une déclaration de maturité passe du rapport d'essai à la décision d'achat sans vérification.
Les résultats négatifs disparaissent
Les tests échoués ou non concluants sont rarement consignés, de sorte que la littérature publiée surestime les taux de réussite et que d'autres répètent des tests déjà échoués.
Les versions changent en profondeur
Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.
Bureau de production des séries.
L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Bureau de production des séries
Séries Labs et Foundry · Synthèse annuelle · Édition 7
Éditions en production
| Synthèse annuelle | Mondial | Vérification des données | 81 | W10 |
| Profil de pays 7 | Pays | Évaluation par les pairs | 97 | W16 |
| Perspectives hydriques | Sectoriel | Rédaction | 32 | W38 |
| Note méthodologique 4 | Méthodes | Publié | 100 | terminé |
Contrôle des données, synthèse annuelle
Chaîne de production des éditions
- Planconseil
- Brouillonauteurs
- Vérification des donnéeschaque valeur
- Évaluation par les pairsdeux tours
- Éditorialdécision
- VersionDOI
- Rectificatifsversionné
Labs and Foundry editions report what was tested and built for each domain.
Editions carry verification evidence under NS-11 of the proposed Nexus Standards. A test result is not an approval.
- Résultats négatifs.
- Réplications.
How labs and foundry series is modelled, measured and tested.
Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.
Modèle, équations et hypothèses
La structure de modèle utilisée pour les séries labs et foundry, les hypothèses qu'elle pose et la manière dont chacune est testée.
Ri = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire faceEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Hypothèse | Pourquoi il est réalisé | Comment il est testé |
|---|---|---|
| Aléa et exposition sont indépendants au sein d'un événement | Garde l'intégrale des pertes calculable | Comparer avec un ajustement de copule sur des relevés conjoints |
| Les couplages sont linéaires près du point de fonctionnement | Laisse les chocs se propager à travers A | Perturber au-delà de la plage linéaire et comparer |
| Les courbes de vulnérabilité se transposent d'un lieu à l'autre | Les courbes locales sont rarement disponibles | Valider par rapport aux pertes observées lorsqu'elles existent |
- Entrées
- jeux de données versionnés avec provenance
- Productions
- des distributions, jamais des nombres isolés
- Code
- publié avec la fiche de modèle et les tests
- Reproduction
- mêmes données, code, environnement et graine
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Protocoles d'essai enregistrés avant les essais | pourcentage des rapports | par rapport | Dossiers du registre | OBSERVÉ |
| Rapports de test avec code, données et configuration archivés | pourcentage des rapports | par rapport | Repository deposit records | OBSERVÉ |
| Niveau de préparation déclaré et données probantes jointes | level claimed; yes or no for evidence | par rapport | Rapport et annexe des données probantes | DÉCLARÉ |
| Negative and inconclusive results published | nombre par période | annuel | Catalogue des séries | DÉCLARÉ |
| Version du système testé identifiée | pourcentage des rapports | par rapport | Métadonnées du rapport | OBSERVÉ |
| Revue technique indépendante achevée | oui ou non, avec le rôle du relecteur | par rapport | Dossier de revue | DÉCLARÉ |
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| Zenodo | Archived test data, configurations and software releases with DOIs | Métadonnées CC0, licence par enregistrement |
| Software Heritage | Preserved source code at the exact revision tested | Code under its own licence |
| OSF Registries | Protocoles d'essai et plans d'analyse préenregistrés | Metadata CC0, licence per registration |
| protocols.io | Méthodes pas à pas publiées, avec versions et DOI | Licence per protocol, mostly CC BY |
| Base nationale de vulnérabilités du NIST | Known vulnerabilities for software components under test | Domaine public |
Qui décide, et à quoi servent les données probantes.
Reports prépare les éléments probants. Les décisions ci-dessous sont prises par les autorités désignées, selon leurs propres règles, et jamais par la plateforme.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Comités d'achat et d'adoption | Whether a tested technology is ready for a pilot or operational use | Annexes de données probantes sur l'état de préparation, conditions d'essai et limites connues |
| Bailleurs de fonds de l'innovation et responsables de programmes | Financer ou non la prochaine étape de développement | Readiness level with its evidence, negative results and open risks |
| Groupes d'examen technique | Whether a test report is complete and its conclusions follow from the evidence | Protocoles enregistrés, données archivées et identifiants de version |
| Standards and conformity assessment bodies | Si des méthodes d'essai conviennent à un futur standard | Procédures d'essai documentées et leur reproductibilité |
Résultats que produit ce thème
- Rapports d'essai indiquant les conditions, les versions et les critères d'acceptation
- Annexes de données probantes sur l'état de préparation, associant chaque niveau à ses données probantes
- Configurations et données archivées pour chaque test
- A register of negative and inconclusive results
Les questions posées par la série.
Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.
- What exactly was tested, under which protocol, with which data and in which environment?
- What passed, what failed and what was not tested?
- Les données probantes appuient-elles l'étape suivante annoncée, et uniquement cette étape ?
- Quelles observations ou quels signaux justifient une analyse approfondie, et quelle est leur fiabilité ?
Ce que couvre la série.
Three series report evidence from building, testing and observing.
Experiments and testbeds
Résultats de protocoles achevés, y compris les résultats nuls et négatifs.
Build and readiness
Données probantes sur les systèmes de Foundry au regard de critères de préparation énoncés, jamais à titre de certification.
Observation
Signaux issus de la surveillance, étiquetés selon la source et le niveau de confiance, qui appellent une analyse plutôt qu'une action.
La série suit la logique des pratiques d'essai et d'évaluation en ingénierie : une affirmation ne vaut que par le protocole qui l'a testée, et la préparation est toujours une préparation à quelque chose de précis. Un outil qui a réussi un essai en laboratoire n'est pas prêt pour un usage sur le terrain, et un système qui a fonctionné lors d'un exercice n'a pas démontré qu'il fonctionnera dans tous les contextes. Les éditions indiquent ces limites à côté de chaque résultat.
Comment les éditions sont construites, et leurs limites.
- 01
Protocoles
Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.
- 02
Environnements
Les conditions d'essai sont décrites ; les résultats obtenus sur un banc d'essai peuvent ne pas être transposables à l'exploitation réelle.
- 03
Critères de maturité
Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.
- 04
Qualité du signal
Les signaux de l'observatoire indiquent leur source, leur couverture et leurs caractéristiques de fausses alertes lorsqu'elles sont connues.
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Ingénierie, interopérabilité et intendance des donnéesPublication structurée en JATS XML · Identifiants pérennes dans l'ensemble du registreAppliqué ici
- 02Quantification de l'incertitude et validation des modèlesLangage calibré dans les évaluations · Niveaux de certitude des données probantesAppliqué ici
- 03Probabilités et statistiquesMéta-analyse avec hétérogénéité déclarée · Biais des petites études et de publicationAppliqué ici
Where this page’s references lead.
Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.
Questions et réponses.
Qu'est-ce qu'un niveau de maturité technologique ?
Pourquoi publier les essais échoués ?
Does a passed test mean a system is safe?
Does a readiness report mean a system is approved?
Les tests échoués sont-ils publiés ?
Can vendors publish results in the series?
Are observatory signals warnings?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.