Skip to content

GCRI · 研究ライブラリ

方法論と技術論文

Papers describing the quantitative and qualitative methods of The Global Centre for Risk and Innovation (GCRI), open enough for another team to apply, test or criticise them. Each states the method, its assumptions, its validation, where it fails and the software or data it needs. Methods link to their STEM Commons pages. Part of the research library.

01ワークスペース

方法論および技術論文のためのワークスペース。

エビデンスの格付け

Methods and technical papers · Review wave 2 · Example interface, not a record

2 つの出典の格下げGCRI・GCRI

基準ごとの確実性

0 低〜100 高

高いほど確実性が高い。値は例です。

レビュー待ち

  1. R-1実施中の国別プログラム第 2 レビュー担当者3 日
  2. R-2ラベル付きのエビデンス記録第 2 レビュー担当者2 日
  3. R-3適用した手法第 2 レビュー担当者4 日
エビデンスの格付け。説明用のインターフェースです。ライブデータではありません。

GCRI · エビデンスの格付け。 エビデンスの格付け:例示の名前とイメージの値であり、記録ではありません。

02Two traditions

定量的なものも定性的なものも、一つの基準で扱います。

Both kinds of method must be described well enough to be checked.

Quantitative

モデルと統計

統計、ネットワーク、シミュレーション、最適化の手法( 不確実性の定量化.

Qualitative

構造化された判断

インタビュー、 専門家の意見聴取、シナリオ・ワークショップ、事例分析を、 政策・意思決定科学.

混合

組み合わせた設計

Studies that combine both, stating how evidence of each kind is weighed.

03報告ガイド

手法の論文が従うべき報告ガイドライン(手法の種類別)。

Kind of methodGuide参照番号
Prediction models, including machine learningTRIPOD+AICollins and others, BMJ, 2024
エージェントベースその他のシミュレーションモデルODD プロトコル、第 2 次更新Grimm and others, 2020
Computer model calibrationCalibration with explicit model discrepancyKennedy and O’Hagan, 2001
Machine-learning models in deploymentModel cardsMitchell ほか、2019 年
Land change from remote sensingArea estimation from a reference sampleOlofsson and others, 2014
構造化された専門家判断キャリブレーション質問を含む、文書化されたエリシテーション・プロトコルStated in each paper

Reviewed methods are designed for the Methods and Technical series, with each model described under NS-12 of the proposed Nexus Standards. Methods researchers can contribute replications and documented failures; both are published.

04プロセス

プロセスの進め方。

Process explorer · Process

Methods and technical papers: Source to evidence record

10 steps4 stages2 gates

プロセス

Methods and technical papers: Source to evidence record

情報源は登録・評価され、その記録はラベル付けと分類がなされ、デジタル証拠パスポートが来歴を担います。訂正は依存するすべての記録に届きます。

  1. 01 受付

    1. 01情報源を特定する情報源 · 情報源のスチュワード発見は取り込みではありません。情報源の特定では、情報源の区分、スチュワード、機関としての役割、管轄を記録します。
    2. 03情報源を登録するステップ登録によって、発見された情報源はエビデンスのライフサイクルにおける統治された参加者となります。推薦や認証を意味するものではありません。
  2. 02 評価

    1. 04管轄と権利の分類ゲート権利の分類では、ライセンス、同意、機密性、再利用の制限を特定します。その結果がアクセスと振り分けを決めます。
    2. 05エビデンスの質の評価ステップ品質評価では、記録が定められた用途に適しているかどうかを決めます。品質は多次元的であり、単一のスコアでは決してありません。
    3. 06エビデンス・ラベルステップすべての知見には 9 つのエビデンス・ラベルのいずれかが付きます。欠けているデータは欠損として示され、ゼロとして示されることはありません。
  3. 03 記録

    1. 07エビデンスの分類記録分類によって、記録には「情報源確認済み」「公開可」「制限付き」などのライフサイクル上の状態が与えられます。状態は併存でき、エビデンスとしての使い方を定めます。
    2. 08情報源リリースと識別子記録・ NXS-GRX (正規データ、来歴、リスク)情報源リリースは、権利、対象期間、情報源の系譜を記録します。 UNI はカタログを通じて割り当てられ、手入力されることはありません。
    3. 09デジタル・エビデンス・パスポート記録パスポートは来歴、品質、権利、管轄、許可された用途、履歴を記録し、エビデンスが移動しても文脈を保てるようにします。
  4. 04 利用と訂正

    1. 02訂正が依存する記録に届く段階 · NXS-GRX(正規データ、来歴、リスク)情報源の訂正は、過去の結果を書き換えることなく、依存する抽出データや成果物に波及します。
    2. 10公開安全性レビューゲート公開可否の審査では、記録を公に共有できるかどうかを決めます。これは独立した段階であり、妥当性確認ではありません。

Data protocols: evidence lifecycle · Data protocols: core data objects and evidence records · The Global Risks Index (NXS-GRX)Designed programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The data-protocol pages describe a design, not a running system.

05What a methods paper contains

すべての論文に含まれる 6 つの要素。

  1. 01

    目的

    The question the method answers and where it should not be used.

  2. 02

    前提

    結果が成り立つために満たされるべき条件。

  3. 03

    検証

    How the method was tested, on which data and with what result.

  4. 04

    故障モード

    この手法が誤解を招く結果を出すことが知られている状況。

  5. 05

    実装

    ソフトウェア、バージョン、パラメータ。ライセンスが許す範囲で公開します。

  6. 06

    審査

    誰が論文をレビューしたか、およびそのレビュー状況。

06オープン性が重要な理由

誰も検証できない手法は、エビデンスではありません。

リスクに関する意思決定は、見えにくいモデルや判断に依拠していることが多くあります。オープンな手法により、独立した研究者、情報源となる機関、影響を受けるコミュニティがそれらを検証し、弱点を見つけ、改善を提案できます。ライセンスやセキュリティ上の理由でコードやデータを公開できない場合、本論文はその旨を明記し、評価に足る程度に詳細に手法を記述しています。

09質問

質問と回答。

Why publish methods separately from results?
So that the method can be reviewed and reused on its own, and so that results in many publications can point to one checked description.
Are qualitative methods treated as less rigorous?
いいえ。両者は異なる問いに答えるものです。どちらも設計、前提、限界を明示する必要があり、どちらも審査されます。
GCRI の手法を再利用できますか。
Yes, under the licence of the paper and any released software. Please cite the method paper and version.
How are methods improved over time?
レビュー、異議申し立て、新たなエビデンスによります。改訂された手法は新しいバージョンとして公表され、それに依存する結果は変更点を明記します。
手法の改善を提案することはできますか。
Yes. Write to the research collaboration form with the method, the proposed change and your evidence. Proposals receive a reference and are reviewed on their merits.
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

GCRI
グローバル・リスク・イノベーション・センター(Global Centre for Risk and Innovation)

手法、データセット、または問いを持ち込んでください。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。