The workspace for methods and technical papers.
증거 등급화
Methods and technical papers · Review wave 2 · Example interface, not a record
기준별 확실성
0 낮음에서 100 높음
높을수록 더 확실합니다. 값은 예시입니다.
검토 대기열
- R-1진행 중인 국가 프로그램두 번째 검토자3 일 후 기한
- R-2표시가 붙은 증거 기록두 번째 검토자2 일 후 기한
- R-3적용한 방법두 번째 검토자4 일 후 기한
GCRI · Evidence grading. Evidence grading: example names and illustrative values, not a record.
Quantitative and qualitative, held to one standard.
Both kinds of method must be described well enough to be checked.
모델과 통계
Statistical, network, simulation and optimisation methods, such as uncertainty quantification.
Structured judgement
Interviews, expert elicitation, scenario workshops and case analysis, with policy and decision science.
Combined designs
Studies that combine both, stating how evidence of each kind is weighed.
The reporting guides a methods paper follows, by kind of method.
| Kind of method | Guide | 참조 번호 |
|---|---|---|
| Prediction models, including machine learning | TRIPOD+AI | Collins 외, BMJ, 2024 |
| Agent-based and other simulation models | ODD protocol, second update | Grimm and others, 2020 |
| Computer model calibration | Calibration with explicit model discrepancy | Kennedy and O’Hagan, 2001 |
| Machine-learning models in deployment | Model cards | Mitchell and others, 2019 |
| Land change from remote sensing | Area estimation from a reference sample | Olofsson and others, 2014 |
| 구조화된 전문가 판단 | 문서화된 전문가 의견 도출 절차와 보정 질문 | Stated in each paper |
Reviewed methods are designed for the Methods and Technical series, with each model described under NS-12 of the proposed Nexus Standards. Methods researchers can contribute replications and documented failures; both are published.
프로세스가 진행되는 방식.
Process explorer · Process
Methods and technical papers: Source to evidence record
10 steps·4 stages·2 gates
절차
Methods and technical papers: Source to evidence record
출처가 등록 및 평가되고, 그 기록에 표지가 붙고 분류되며, 디지털 증거 패스포트가 출처 이력을 담습니다. 정정은 모든 종속 기록에 전달됩니다.
01 접수
- 01출처 식별출처 · 출처 관리 주체발견은 수집이 아닙니다. 출처 식별은 출처 유형, 관리 주체, 기관 역할, 관할권을 기록합니다.
- 03출처 등록단계등록을 통해 발견된 출처는 근거 수명주기의 관리 대상 참여자가 됩니다. 이는 보증이나 인증을 의미하지 않습니다.
02 평가
- 04관할권 및 권리 분류관문권리 분류는 라이선스, 동의, 기밀성, 재사용 제한을 식별합니다. 그 결과가 접근과 전달 경로를 결정합니다.
- 05근거 품질 평가단계품질 평가는 기록이 정해진 용도에 적합한지를 결정합니다. 품질은 다차원적이며 결코 단일 점수가 아닙니다.
- 06근거 표시단계모든 발견에는 아홉 가지 근거 표시 중 하나가 붙습니다. 누락된 데이터는 0이 아니라 누락으로 표시됩니다.
03 기록
04 이용과 정정
- 02정정이 의존 기록에 도달단계 · NXS-GRX(정본 데이터, 출처 이력, 리스크)출처 정정은 과거 결과를 다시 쓰지 않고 의존하는 분석 단면과 산출물로 전파됩니다.
- 10공개 안전성 검토관문공개 안전 검토는 기록을 공개적으로 공유할 수 있는지를 결정합니다. 이는 별도의 단계이며 검증이 아닙니다.
Data protocols: evidence lifecycle · Data protocols: core data objects and evidence records · The Global Risks Index (NXS-GRX)Designed programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The data-protocol pages describe a design, not a running system.
모든 논문에 담기는 여섯 가지 요소.
- 01
목적
The question the method answers and where it should not be used.
- 02
가정
결과가 유지되기 위해 충족되어야 할 조건.
- 03
검증
How the method was tested, on which data and with what result.
- 04
실패 양상
Known situations where the method gives misleading results.
- 05
구현
Software, versions and parameters, released where licences allow.
- 06
검토
Who reviewed the paper and its review state.
A method no one can check is not evidence.
리스크 의사결정은 흔히 눈에 잘 보이지 않는 모델과 판단에 의존합니다. 공개된 방법론은 독립 연구자, 원천 기관, 영향을 받는 지역사회가 이를 검증하고 약점을 찾아 개선안을 제안할 수 있게 합니다. 라이선스나 보안 때문에 코드나 데이터를 공개할 수 없는 경우, 논문은 그 사실을 밝히고 평가할 수 있을 만큼 상세하게 방법을 설명합니다.
Where methods are applied.
Modelling practice: models and scenarios. Reviewed methods may appear in the Methods and Technical series. Experimental protocols: Labs protocols and research design. Quantitative methods for finance: The Global Risks Alliance (GRA), models and professional methods.
Where this page’s references lead.
이 페이지를 읽을 때 기준이 되는 기구와 문서. 상태와 판은 바뀌며, 각 링크는 발행 기구로 연결됩니다.
- Collins and others, TRIPOD+AI statement, BMJ 385 (2024)
- Grimm and others, The ODD protocol for describing agent-based and other simulation models: a second update, Journal of Artificial Societies and Social Simulation 23 (2020)
- Kennedy and O’Hagan, Bayesian calibration of computer models, Journal of the Royal Statistical Society Series B 63 (2001)
- Mitchell 외, Model cards for model reporting, Proceedings of FAT* 2019
- Olofsson 외, Good practices for estimating area and assessing accuracy of land change, Remote Sensing of Environment 148 (2014)
- NS-12, 소프트웨어, 모형, AI/ML 산출물, 제안된 표준
질문과 답변.
Why publish methods separately from results?
Are qualitative methods treated as less rigorous?
Can I reuse a GCRI method?
How are methods improved over time?
Can I propose an improvement to a method?
이 페이지에서 증거를 기여하십시오.
Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.
- 이메일게이트웨이 GW-GCRI이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 보고서GCRI모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
방법, 데이터세트 또는 질문을 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.