Skip to content

GCRI · Исследовательская библиотека

Методы и технические документы

Papers describing the quantitative and qualitative methods of The Global Centre for Risk and Innovation (GCRI), open enough for another team to apply, test or criticise them. Each states the method, its assumptions, its validation, where it fails and the software or data it needs. Methods link to their STEM Commons pages. Part of the research library.

01Рабочее пространство

The workspace for methods and technical papers.

Оценка качества доказательной базы

Methods and technical papers · Review wave 2 · Example interface, not a record

Two sources downgradedGCRI · GCRI

Определённость по критерию

от 0 (низкий) до 100 (высокий)

Чем выше, тем больше определённость. Значения приведены для примера.

Очередь на рецензирование

  1. R-1Действующие страновые программывторой рецензент3 дн.
  2. R-2Записи доказательной базы с маркировкойвторой рецензент2 дн.
  3. R-3Применяемые методывторой рецензент4 дн.
Оценка качества доказательной базы.Иллюстративный интерфейс; не оперативные данные.

GCRI · Evidence grading. Evidence grading: example names and illustrative values, not a record.

02Two traditions

Quantitative and qualitative, held to one standard.

Both kinds of method must be described well enough to be checked.

Quantitative

Models and statistics

Statistical, network, simulation and optimisation methods, such as uncertainty quantification.

Qualitative

Structured judgement

Interviews, expert elicitation, scenario workshops and case analysis, with policy and decision science.

Смешанные

Combined designs

Studies that combine both, stating how evidence of each kind is weighed.

03Reporting guides

The reporting guides a methods paper follows, by kind of method.

Kind of methodGuideСправка
Prediction models, including machine learningTRIPOD+AICollins and others, BMJ, 2024
Agent-based and other simulation modelsODD protocol, second updateGrimm and others, 2020
Калибровка компьютерных моделейCalibration with explicit model discrepancyKennedy and O’Hagan, 2001
Machine-learning models in deploymentModel cardsMitchell and others, 2019
Land change from remote sensingArea estimation from a reference sampleOlofsson and others, 2014
Структурированная экспертная оценкаDocumented elicitation protocol with calibration questionsStated in each paper

Reviewed methods are designed for the Methods and Technical series, with each model described under NS-12 of the proposed Nexus Standards. Methods researchers can contribute replications and documented failures; both are published.

04Процесс

Как устроен процесс.

Process explorer · Process

Methods and technical papers: Source to evidence record

10 steps4 stages2 gates

Процесс

Methods and technical papers: Source to evidence record

Источник регистрируется и оценивается, его запись маркируется и классифицируется, а Цифровой паспорт (доказательная база) несёт происхождение; исправление доходит до каждой зависимой записи.

  1. 01 Приём

    1. 01Установить источникИсточник · Распорядитель источникаОбнаружение не является загрузкой. Установление источника фиксирует класс источника, распорядителя, институциональную роль и юрисдикцию.
    2. 03Зарегистрировать источникШагРегистрация делает обнаруженный источник управляемым участником жизненного цикла, в котором формируется доказательная база. Она не означает одобрения или сертификации.
  2. 02 Оценка

    1. 04Классификация юрисдикций и правКонтрольная точкаКлассификация прав определяет ограничения по лицензии, согласию, конфиденциальности и повторному использованию. Результат определяет доступ и маршрутизацию.
    2. 05Доказательная база: оценка качестваШагОценка качества определяет, пригодна ли запись для определённого использования. Качество многомерно и никогда не сводится к единой оценке.
    3. 06Метка: доказательная базаШагКаждый вывод получает одну из девяти меток, указывающих, какова его доказательная база. Отсутствующие данные показываются как отсутствующие, а не как ноль.
  3. 03 Запись

    1. 07Доказательная база: классификацияЗаписьКлассификация присваивает записям состояния жизненного цикла, например «источник проверен», «безопасно для публикации» или «ограниченный доступ». Состояния могут сосуществовать и определяют, как используется доказательная база.
    2. 08Выпуск источника и идентификаторЗапись · NXS-GRX (канонические данные, происхождение и риск)Выпуск источника фиксирует права, временной охват и происхождение источника. UNI присваивается через каталог и никогда не вводится вручную.
    3. 09Digital Evidence PassportRecordThe passport records provenance, quality, rights, jurisdiction, permitted use and history, so evidence keeps its context when it travels.
  4. 04 Использование и исправление

    1. 02Исправление доходит до зависимых записейШаг · NXS-GRX (канонические данные, происхождение и риск)Исправление источника распространяется на зависимые срезы и продукты без перезаписи прежних результатов.
    2. 10Проверка безопасности для публикацииКонтрольная точкаПроверка на безопасность для публикации решает, можно ли сделать запись общедоступной. Это отдельный этап, и он не является валидацией.

Data protocols: evidence lifecycle · Data protocols: core data objects and evidence records · The Global Risks Index (NXS-GRX)Designed programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The data-protocol pages describe a design, not a running system.

05What a methods paper contains

Six elements in every paper.

  1. 01

    Цель

    The question the method answers and where it should not be used.

  2. 02

    Допущения

    What must be true for results to hold.

  3. 03

    Валидация

    How the method was tested, on which data and with what result.

  4. 04

    Режимы отказов

    Known situations where the method gives misleading results.

  5. 05

    Внедрение

    Программное обеспечение, версии и параметры публикуются там, где это позволяют лицензии.

  6. 06

    Рецензирование

    Who reviewed the paper and its review state.

06Почему важна открытость

A method no one can check is not evidence.

Risk decisions often rest on models and judgement that are hard to see. Open methods let independent researchers, source agencies and affected communities test them, find weaknesses and propose improvements. Where licensing or security prevents releasing code or data, the paper says so and describes the method in enough detail to assess.

09Вопросы

Вопросы и ответы.

Почему методы публикуются отдельно от результатов?
So that the method can be reviewed and reused on its own, and so that results in many publications can point to one checked description.
Are qualitative methods treated as less rigorous?
No. They answer different questions. Both must state their design, assumptions and limits, and both are reviewed.
Can I reuse a GCRI method?
Да, на условиях лицензии статьи и любого выпущенного программного обеспечения. Просим ссылаться на статью с описанием метода и на её версию.
How are methods improved over time?
Through review, challenge and new evidence. A revised method is published as a new version, and results that depend on it note the change.
Can I propose an improvement to a method?
Yes. Write to the research collaboration form with the method, the proposed change and your evidence. Proposals receive a reference and are reviewed on their merits.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

GCRI
Global Centre for Risk and Innovation

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.