Skip to content

GCRI · 연구 자료실

방법론과 기술 논문

글로벌 리스크 혁신 센터(Global Centre for Risk and Innovation, GCRI)의 정량적 및 정성적 방법을 설명하는 논문으로, 다른 팀이 적용, 검증 또는 비판할 수 있을 만큼 공개되어 있습니다. 각 논문은 방법, 가정, 검증, 실패하는 지점, 필요한 소프트웨어나 데이터를 명시합니다. 방법은 STEM 공유지 페이지에 연결됩니다. 연구 자료실.

01작업 공간

The workspace for methods and technical papers.

증거 등급화

Methods and technical papers · Review wave 2 · Example interface, not a record

Two sources downgradedGCRI · GCRI

기준별 확실성

0 낮음에서 100 높음

높을수록 더 확실합니다. 값은 예시입니다.

검토 대기열

  1. R-1진행 중인 국가 프로그램두 번째 검토자3 일 후 기한
  2. R-2표시가 붙은 증거 기록두 번째 검토자2 일 후 기한
  3. R-3적용한 방법두 번째 검토자4 일 후 기한
근거 등급.예시용 인터페이스이며 실시간 데이터가 아닙니다.

GCRI · Evidence grading. Evidence grading: example names and illustrative values, not a record.

02Two traditions

Quantitative and qualitative, held to one standard.

Both kinds of method must be described well enough to be checked.

Quantitative

모델과 통계

Statistical, network, simulation and optimisation methods, such as uncertainty quantification.

Qualitative

Structured judgement

Interviews, expert elicitation, scenario workshops and case analysis, with policy and decision science.

혼합

Combined designs

Studies that combine both, stating how evidence of each kind is weighed.

03Reporting guides

The reporting guides a methods paper follows, by kind of method.

Kind of methodGuide참조 번호
Prediction models, including machine learningTRIPOD+AICollins 외, BMJ, 2024
Agent-based and other simulation modelsODD protocol, second updateGrimm and others, 2020
Computer model calibrationCalibration with explicit model discrepancyKennedy and O’Hagan, 2001
Machine-learning models in deploymentModel cardsMitchell and others, 2019
Land change from remote sensingArea estimation from a reference sampleOlofsson and others, 2014
구조화된 전문가 판단문서화된 전문가 의견 도출 절차와 보정 질문Stated in each paper

Reviewed methods are designed for the Methods and Technical series, with each model described under NS-12 of the proposed Nexus Standards. Methods researchers can contribute replications and documented failures; both are published.

04절차

프로세스가 진행되는 방식.

Process explorer · Process

Methods and technical papers: Source to evidence record

10 steps4 stages2 gates

절차

Methods and technical papers: Source to evidence record

출처가 등록 및 평가되고, 그 기록에 표지가 붙고 분류되며, 디지털 증거 패스포트가 출처 이력을 담습니다. 정정은 모든 종속 기록에 전달됩니다.

  1. 01 접수

    1. 01출처 식별출처 · 출처 관리 주체발견은 수집이 아닙니다. 출처 식별은 출처 유형, 관리 주체, 기관 역할, 관할권을 기록합니다.
    2. 03출처 등록단계등록을 통해 발견된 출처는 근거 수명주기의 관리 대상 참여자가 됩니다. 이는 보증이나 인증을 의미하지 않습니다.
  2. 02 평가

    1. 04관할권 및 권리 분류관문권리 분류는 라이선스, 동의, 기밀성, 재사용 제한을 식별합니다. 그 결과가 접근과 전달 경로를 결정합니다.
    2. 05근거 품질 평가단계품질 평가는 기록이 정해진 용도에 적합한지를 결정합니다. 품질은 다차원적이며 결코 단일 점수가 아닙니다.
    3. 06근거 표시단계모든 발견에는 아홉 가지 근거 표시 중 하나가 붙습니다. 누락된 데이터는 0이 아니라 누락으로 표시됩니다.
  3. 03 기록

    1. 07근거 분류기록분류는 기록에 출처 검증됨, 공개 안전, 제한과 같은 수명주기 상태를 부여합니다. 상태는 함께 존재할 수 있으며 근거의 사용 범위를 정합니다.
    2. 08출처 릴리스와 식별자기록 · NXS-GRX (정본 데이터, 출처 이력, 리스크)출처 릴리스는 권리, 시간적 범위, 출처 계보를 기록합니다. UNI 는 카탈로그를 통해 할당되며 직접 입력하지 않습니다.
    3. 09디지털 근거 여권기록여권은 출처 이력, 품질, 권리, 관할권, 허용된 사용, 이력을 기록하므로 근거가 이동해도 맥락을 유지합니다.
  4. 04 이용과 정정

    1. 02정정이 의존 기록에 도달단계 · NXS-GRX(정본 데이터, 출처 이력, 리스크)출처 정정은 과거 결과를 다시 쓰지 않고 의존하는 분석 단면과 산출물로 전파됩니다.
    2. 10공개 안전성 검토관문공개 안전 검토는 기록을 공개적으로 공유할 수 있는지를 결정합니다. 이는 별도의 단계이며 검증이 아닙니다.

Data protocols: evidence lifecycle · Data protocols: core data objects and evidence records · The Global Risks Index (NXS-GRX)Designed programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The data-protocol pages describe a design, not a running system.

05What a methods paper contains

모든 논문에 담기는 여섯 가지 요소.

  1. 01

    목적

    The question the method answers and where it should not be used.

  2. 02

    가정

    결과가 유지되기 위해 충족되어야 할 조건.

  3. 03

    검증

    How the method was tested, on which data and with what result.

  4. 04

    실패 양상

    Known situations where the method gives misleading results.

  5. 05

    구현

    Software, versions and parameters, released where licences allow.

  6. 06

    검토

    Who reviewed the paper and its review state.

06개방성이 중요한 이유

A method no one can check is not evidence.

리스크 의사결정은 흔히 눈에 잘 보이지 않는 모델과 판단에 의존합니다. 공개된 방법론은 독립 연구자, 원천 기관, 영향을 받는 지역사회가 이를 검증하고 약점을 찾아 개선안을 제안할 수 있게 합니다. 라이선스나 보안 때문에 코드나 데이터를 공개할 수 없는 경우, 논문은 그 사실을 밝히고 평가할 수 있을 만큼 상세하게 방법을 설명합니다.

09질문

질문과 답변.

Why publish methods separately from results?
So that the method can be reviewed and reused on its own, and so that results in many publications can point to one checked description.
Are qualitative methods treated as less rigorous?
아니요. 두 가지는 서로 다른 질문에 답합니다. 둘 다 설계, 가정, 한계를 명시해야 하며 모두 검토를 받습니다.
Can I reuse a GCRI method?
Yes, under the licence of the paper and any released software. Please cite the method paper and version.
How are methods improved over time?
Through review, challenge and new evidence. A revised method is published as a new version, and results that depend on it note the change.
Can I propose an improvement to a method?
Yes. Write to the research collaboration form with the method, the proposed change and your evidence. Proposals receive a reference and are reviewed on their merits.
보고서기여하기

이 페이지에서 증거를 기여하십시오.

Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.

GCRI
글로벌 리스크 혁신 센터(Global Centre for Risk and Innovation)

방법, 데이터세트 또는 질문을 가져오십시오.

정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.