GCRI · Исследовательская библиотека
Методы и технические документы
Papers describing the quantitative and qualitative methods of The Global Centre for Risk and Innovation (GCRI), open enough for another team to apply, test or criticise them. Each states the method, its assumptions, its validation, where it fails and the software or data it needs. Methods link to their STEM Commons pages. Part of the research library.
The workspace for methods and technical papers.
Оценка качества доказательной базы
Methods and technical papers · Review wave 2 · Example interface, not a record
Определённость по критерию
от 0 (низкий) до 100 (высокий)
Чем выше, тем больше определённость. Значения приведены для примера.
Очередь на рецензирование
- R-1Действующие страновые программывторой рецензент3 дн.
- R-2Записи доказательной базы с маркировкойвторой рецензент2 дн.
- R-3Применяемые методывторой рецензент4 дн.
GCRI · Evidence grading. Evidence grading: example names and illustrative values, not a record.
Quantitative and qualitative, held to one standard.
Both kinds of method must be described well enough to be checked.
Models and statistics
Statistical, network, simulation and optimisation methods, such as uncertainty quantification.
Structured judgement
Interviews, expert elicitation, scenario workshops and case analysis, with policy and decision science.
Combined designs
Studies that combine both, stating how evidence of each kind is weighed.
The reporting guides a methods paper follows, by kind of method.
| Kind of method | Guide | Справка |
|---|---|---|
| Prediction models, including machine learning | TRIPOD+AI | Collins and others, BMJ, 2024 |
| Agent-based and other simulation models | ODD protocol, second update | Grimm and others, 2020 |
| Калибровка компьютерных моделей | Calibration with explicit model discrepancy | Kennedy and O’Hagan, 2001 |
| Machine-learning models in deployment | Model cards | Mitchell and others, 2019 |
| Land change from remote sensing | Area estimation from a reference sample | Olofsson and others, 2014 |
| Структурированная экспертная оценка | Documented elicitation protocol with calibration questions | Stated in each paper |
Reviewed methods are designed for the Methods and Technical series, with each model described under NS-12 of the proposed Nexus Standards. Methods researchers can contribute replications and documented failures; both are published.
Как устроен процесс.
Process explorer · Process
Methods and technical papers: Source to evidence record
10 steps·4 stages·2 gates
Процесс
Methods and technical papers: Source to evidence record
Источник регистрируется и оценивается, его запись маркируется и классифицируется, а Цифровой паспорт (доказательная база) несёт происхождение; исправление доходит до каждой зависимой записи.
01 Приём
- 01Установить источникИсточник · Распорядитель источникаОбнаружение не является загрузкой. Установление источника фиксирует класс источника, распорядителя, институциональную роль и юрисдикцию.
- 03Зарегистрировать источникШагРегистрация делает обнаруженный источник управляемым участником жизненного цикла, в котором формируется доказательная база. Она не означает одобрения или сертификации.
02 Оценка
- 04Классификация юрисдикций и правКонтрольная точкаКлассификация прав определяет ограничения по лицензии, согласию, конфиденциальности и повторному использованию. Результат определяет доступ и маршрутизацию.
- 05Доказательная база: оценка качестваШагОценка качества определяет, пригодна ли запись для определённого использования. Качество многомерно и никогда не сводится к единой оценке.
- 06Метка: доказательная базаШагКаждый вывод получает одну из девяти меток, указывающих, какова его доказательная база. Отсутствующие данные показываются как отсутствующие, а не как ноль.
03 Запись
- 07Доказательная база: классификацияЗаписьКлассификация присваивает записям состояния жизненного цикла, например «источник проверен», «безопасно для публикации» или «ограниченный доступ». Состояния могут сосуществовать и определяют, как используется доказательная база.
- 08Выпуск источника и идентификаторЗапись · NXS-GRX (канонические данные, происхождение и риск)Выпуск источника фиксирует права, временной охват и происхождение источника. UNI присваивается через каталог и никогда не вводится вручную.
- 09Digital Evidence PassportRecordThe passport records provenance, quality, rights, jurisdiction, permitted use and history, so evidence keeps its context when it travels.
04 Использование и исправление
- 02Исправление доходит до зависимых записейШаг · NXS-GRX (канонические данные, происхождение и риск)Исправление источника распространяется на зависимые срезы и продукты без перезаписи прежних результатов.
- 10Проверка безопасности для публикацииКонтрольная точкаПроверка на безопасность для публикации решает, можно ли сделать запись общедоступной. Это отдельный этап, и он не является валидацией.
Data protocols: evidence lifecycle · Data protocols: core data objects and evidence records · The Global Risks Index (NXS-GRX)Designed programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The data-protocol pages describe a design, not a running system.
Six elements in every paper.
- 01
Цель
The question the method answers and where it should not be used.
- 02
Допущения
What must be true for results to hold.
- 03
Валидация
How the method was tested, on which data and with what result.
- 04
Режимы отказов
Known situations where the method gives misleading results.
- 05
Внедрение
Программное обеспечение, версии и параметры публикуются там, где это позволяют лицензии.
- 06
Рецензирование
Who reviewed the paper and its review state.
A method no one can check is not evidence.
Risk decisions often rest on models and judgement that are hard to see. Open methods let independent researchers, source agencies and affected communities test them, find weaknesses and propose improvements. Where licensing or security prevents releasing code or data, the paper says so and describes the method in enough detail to assess.
Where methods are applied.
Modelling practice: models and scenarios. Reviewed methods may appear in the Methods and Technical series. Experimental protocols: Labs protocols and research design. Quantitative methods for finance: The Global Risks Alliance (GRA), models and professional methods.
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
- Collins and others, TRIPOD+AI statement, BMJ 385 (2024)
- Grimm и др., The ODD protocol for describing agent-based and other simulation models: a second update, Journal of Artificial Societies and Social Simulation 23 (2020)
- Kennedy and O’Hagan, Bayesian calibration of computer models, Journal of the Royal Statistical Society Series B 63 (2001)
- Mitchell and others, Model cards for model reporting, Proceedings of FAT* 2019
- Olofsson и др., Good practices for estimating area and assessing accuracy of land change, Remote Sensing of Environment 148 (2014)
- NS-12, программные артефакты, модели и артефакты ИИ/МО, предлагаемый стандарт
Вопросы и ответы.
Почему методы публикуются отдельно от результатов?
Are qualitative methods treated as less rigorous?
Can I reuse a GCRI method?
How are methods improved over time?
Can I propose an improvement to a method?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.