GCRI · 혁신과 기술 변화
기술 평가
Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.
The workspace for technology assessment.
혁신 파이프라인
GCRI · 단계 관문 · 예시 인터페이스이며 기록이 아님
성숙도 수준별
준비도 기준
파일럿 대 게이트
파일럿 문제
- I-1시범 사이트 데이터 라이선스확인 사항9 일 후 기한
- I-2참관인 규약 서명됨완료8 일 후 기한
GCRI · 혁신 파이프라인. 혁신 파이프라인: 예시 이름과 예시 값이며, 기록이 아닙니다.
모든 평가의 바탕이 되는 네 가지 질문.
A fourth question runs through all three: what would make the technology fail, and has that been looked for?
How mature is it?
Evidence on maturity in the intended setting, not in the most favourable one.
시험을 거쳤습니까?
명시된 목표에 대한 독립적 시험이며, 시험 조건을 함께 보고합니다.
What exactly is claimed?
Capability statements separated into measured, estimated and asserted.
Readiness levels, what they measure and what they leave out.
Technology readiness levels run from one, basic principles observed, to nine, a system proven in its operational environment. NASA introduced them; ISO 16290:2013 defines them for space systems, and many agencies use adapted versions. A readiness level describes maturity in a stated environment. It says nothing about cost, safety in a different setting, social acceptance or whether an organisation can operate the technology.
| 질문 | Evidence that answers it | Common gap |
|---|---|---|
| 주장한 대로 작동합니까? | Independent tests against a pre-registered plan, on held-out data or in a representative environment | Vendor benchmarks on data the system was tuned to |
| Does it work here? | Trials in the target context, with local users and conditions | Transfer from a different climate, language or infrastructure |
| What does it depend on? | Bills of materials, supply and energy needs, skills required | Hidden dependence on a single supplier or service |
| 어떻게 실패하는가? | 적대적 시험 및 스트레스 시험, 사고 기록 | Testing only the expected cases |
Reporting capability honestly.
- Report performance with confidence intervals and on the population it will serve, not only on aggregate test sets.
- Check for contamination: test data that leaked into training inflates scores, a known problem for AI benchmarks.
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Separate a demonstration, a pilot and sustained operation; each is a different claim.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Assessment reports, not approvals.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
How capability is reported.
- Measured capability is published with workload, data size, hardware, configuration, software version and interval
- Peak, sustained, available and allocated capacity are reported separately
- 기기 수와 사양은 설명 정보이며, 적용 결과가 아닙니다
- 에너지, 냉각 및 물 사용을 추적하며, 측정값과 추정값을 구분하여 관리합니다
- Failures and limitations found during testing are reported, not removed
평가 계획에서 기록된 결과까지.
- 01
Evaluation plan
시험 전에 합의한 목표, 지표, 조건 및 중단 규칙.
- 02
Controlled test
독립적인 관찰 아래 Labs 시험 환경 또는 연례 유니버스 프로그램에서 진행하는 실험입니다.
- 03
기록된 결과
방법, 한계 및 근거 표시를 갖춘 결과로, 권리가 허용하는 범위에서 공개됩니다.
Testing is not certification.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
이 페이지를 읽을 때 기준이 되는 기구와 문서. 상태와 판은 바뀌며, 각 링크는 발행 기구로 연결됩니다.
- 기술 성숙도 수준 (NASA)
- ISO 16290:2013 우주 시스템, 기술성숙도 수준의 정의 및 평가 기준(ISO)
- Collins and others, TRIPOD+AI statement, BMJ 385 (2024)
- 신흥 기술의 예측적 거버넌스를 위한 OECD 프레임워크(OECD, 2024)
- European Parliamentary Technology Assessment network (EPTA)
- NIST AI Risk Management Framework 1.0 (NIST AI 100-1, 2023) and the Generative AI Profile (NIST AI 600-1, 2024)
- NS-11, 검증과 모니터링, 제안 표준
질문과 답변.
Can a vendor cite a GCRI assessment in marketing?
평가 비용은 누가 부담합니까?
Are negative results published?
Does GCRI use readiness levels?
평가에 이의를 제기할 수 있습니까?
이 페이지에서 증거를 기여하십시오.
Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.
- 이메일게이트웨이 GW-GCRI이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 보고서GCRI모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
방법, 데이터세트 또는 질문을 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.