Skip to content

GCRI · Bibliothèque de recherche

Méthodes et documents techniques

Papers describing the quantitative and qualitative methods of The Global Centre for Risk and Innovation (GCRI), open enough for another team to apply, test or criticise them. Each states the method, its assumptions, its validation, where it fails and the software or data it needs. Methods link to their STEM Commons pages. Part of the research library.

01Espace de travail

The workspace for methods and technical papers.

Gradation des preuves

Methods and technical papers · Review wave 2 · Example interface, not a record

Two sources downgradedGCRI · GCRI

Certitude par critère

0 faible à 100 élevé

Plus c'est élevé, plus c'est certain. Les valeurs sont des exemples.

File d'examen

  1. R-1Programmes nationaux actifssecond examinateur3 j
  2. R-2Dossiers de preuves avec étiquettessecond examinateur2 j
  3. R-3Méthodes appliquéessecond examinateur4 j
Gradation des preuves.Interface illustrative ; pas de données en direct.

GCRI · Classification des données probantes. Gradation des preuves : noms d'exemple et valeurs illustratives, non un registre.

02Two traditions

Quantitatif et qualitatif, selon une même exigence.

Les deux types de méthode doivent être décrits assez précisément pour pouvoir être vérifiés.

Quantitative

Models and statistics

Méthodes statistiques, de réseau, de simulation et d'optimisation, telles que la quantification de l'incertitude.

Qualitative

Jugement structuré

Entretiens, Élicitation d'avis d'experts, ateliers de scénarios et analyse de cas, avec les sciences des politiques et de la décision.

Mixte

Combined designs

Études qui combinent les deux, en précisant comment les données probantes de chaque type sont pondérées.

03Guides de rapport

Les lignes directrices de rapport que suit un article de méthodes, selon le type de méthode.

Kind of methodGuideRéférence
Prediction models, including machine learningTRIPOD+AICollins and others, BMJ, 2024
Modèles multi-agents et autres modèles de simulationProtocole ODD, deuxième mise à jourGrimm et al., 2020
Computer model calibrationCalibration with explicit model discrepancyKennedy and O’Hagan, 2001
Machine-learning models in deploymentModel cardsMitchell et autres, 2019
Changement d'occupation des terres issu de la télédétectionArea estimation from a reference sampleOlofsson and others, 2014
Jugement d'experts structuréProtocole d'élicitation documenté avec questions d'étalonnageStated in each paper

Reviewed methods are designed for the Methods and Technical series, with each model described under NS-12 of the proposed Nexus Standards. Methods researchers can contribute replications and documented failures; both are published.

04Processus

Comment le processus se déroule.

Process explorer · Process

Methods and technical papers: Source to evidence record

10 steps4 stages2 gates

Processus

Methods and technical papers: Source to evidence record

Une source est enregistrée et évaluée, son dossier étiqueté et classé, et un passeport numérique des éléments probants porte la provenance ; une correction atteint chaque enregistrement dépendant.

  1. 01 Admission

    1. 01Identifier la sourceSource · Le gestionnaire de la sourceRepérer n'est pas intégrer. L'identification d'une source consigne la catégorie de source, le gestionnaire, le rôle institutionnel et la juridiction.
    2. 03Enregistrer la sourceÉtapeL'enregistrement fait d'une source repérée un participant gouverné du cycle de vie des données probantes. Il n'implique ni caution ni certification.
  2. 02 Évaluation

    1. 04Classification par juridiction et par droitsJalonLa classification des droits identifie la licence, le consentement, la confidentialité et les limites de réutilisation. Le résultat détermine l'accès et l'acheminement.
    2. 05Évaluation de la qualité des données probantesÉtapeL'évaluation de la qualité détermine si un dossier est adapté à un usage défini. La qualité est multidimensionnelle et ne se résume jamais à une note unique.
    3. 06Étiquette de données probantesÉtapeChaque constat porte l'une des neuf étiquettes de données probantes. Les données manquantes sont signalées comme manquantes, jamais comme nulles.
  3. 03 Registre

    1. 07Classification des données probantesEnregistrementLa classification attribue aux dossiers des états de cycle de vie, tels que vérifié à la source, publiable ou restreint. Les états peuvent coexister et déterminent l'usage des données probantes.
    2. 08Publication de la source et identifiantEnregistrement · NXS-GRX (données de référence, provenance et risque)Une publication de source consigne les droits, la couverture temporelle et la filiation des sources. Un UNI est attribué au moyen d'un catalogue et n'est jamais saisi à la main.
    3. 09Passeport numérique des données probantesEnregistrementLe passeport consigne la provenance, la qualité, les droits, la juridiction, l'usage autorisé et l'historique, afin que les données probantes conservent leur contexte lorsqu'elles circulent.
  4. 04 Utilisation et correction

    1. 02La correction atteint les dossiers dépendantsÉtape · NXS-GRX (données de référence, provenance et risque)Une correction de source se propage aux extractions et produits dépendants sans réécrire les résultats antérieurs.
    2. 10Examen de la sécurité de publicationJalonL'examen de publicabilité détermine si un dossier peut être partagé publiquement. C'est une étape distincte, qui ne constitue pas une validation.

Data protocols: evidence lifecycle · Data protocols: core data objects and evidence records · The Global Risks Index (NXS-GRX)Designed programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The data-protocol pages describe a design, not a running system.

05What a methods paper contains

Six elements in every paper.

  1. 01

    Objet

    The question the method answers and where it should not be used.

  2. 02

    Hypothèses

    Ce qui doit être vrai pour que les résultats tiennent.

  3. 03

    Validation

    How the method was tested, on which data and with what result.

  4. 04

    Modes de défaillance

    Situations connues dans lesquelles la méthode donne des résultats trompeurs.

  5. 05

    Mise en œuvre

    Logiciels, versions et paramètres, publiés lorsque les licences le permettent.

  6. 06

    Examen

    Qui a examiné l'article et son état d'examen.

06Pourquoi l'ouverture est importante

A method no one can check is not evidence.

Risk decisions often rest on models and judgement that are hard to see. Open methods let independent researchers, source agencies and affected communities test them, find weaknesses and propose improvements. Where licensing or security prevents releasing code or data, the paper says so and describes the method in enough detail to assess.

09Questions

Questions et réponses.

Why publish methods separately from results?
So that the method can be reviewed and reused on its own, and so that results in many publications can point to one checked description.
Are qualitative methods treated as less rigorous?
Non. Ils répondent à des questions différentes. Les deux doivent énoncer leur conception, leurs hypothèses et leurs limites, et les deux font l'objet d'un examen.
Puis-je réutiliser une méthode du GCRI ?
Yes, under the licence of the paper and any released software. Please cite the method paper and version.
Comment les méthodes sont-elles améliorées au fil du temps ?
Par l'examen, la contestation et de nouvelles données probantes. Une méthode révisée est publiée comme nouvelle version, et les résultats qui en dépendent signalent le changement.
Puis-je proposer une amélioration à une méthode ?
Yes. Write to the research collaboration form with the method, the proposed change and your evidence. Proposals receive a reference and are reviewed on their merits.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

GCRI
Le Global Centre for Risk and Innovation

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.