GCRI · Inovasi dan perubahan teknologi
Penilaian teknologi
Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.
The workspace for technology assessment.
Jalur inovasi
GCRI · Gerbang tahap · Antarmuka contoh, bukan catatan
Menurut tingkat kesiapan
Kriteria kesiapan
uji coba vs gerbang
Isu uji coba
- I-1Lisensi data untuk lokasi uji cobaUntuk diperiksa9 hari
- I-2Protokol pengamat ditandatanganiSelesai8 hari
GCRI · Alur inovasi. Alur inovasi: nama contoh dan nilai ilustratif, bukan catatan.
Four questions behind every assessment.
A fourth question runs through all three: what would make the technology fail, and has that been looked for?
How mature is it?
Bukti kematangan dalam kondisi penggunaan yang dituju, bukan dalam kondisi yang paling menguntungkan.
Has it been tested?
Pengujian independen terhadap tujuan yang dinyatakan, dengan kondisi pengujian yang dilaporkan.
Apa persisnya yang diklaim?
Capability statements separated into measured, estimated and asserted.
Readiness levels, what they measure and what they leave out.
Technology readiness levels run from one, basic principles observed, to nine, a system proven in its operational environment. NASA introduced them; ISO 16290:2013 defines them for space systems, and many agencies use adapted versions. A readiness level describes maturity in a stated environment. It says nothing about cost, safety in a different setting, social acceptance or whether an organisation can operate the technology.
| Pertanyaan | Bukti yang menjawabnya | Kesenjangan umum |
|---|---|---|
| Does it work as claimed? | Pengujian independen terhadap rencana yang didaftarkan sebelumnya, pada data yang ditahan (held-out) atau di lingkungan yang representatif | Tolok ukur vendor pada data yang menjadi dasar penyetelan sistem |
| Does it work here? | Uji coba dalam konteks sasaran, dengan pengguna dan kondisi setempat | Transfer dari iklim, bahasa, atau infrastruktur yang berbeda |
| What does it depend on? | Bills of materials, supply and energy needs, skills required | Hidden dependence on a single supplier or service |
| Bagaimana ia gagal? | Uji adversarial dan uji ketahanan; catatan insiden | Testing only the expected cases |
Melaporkan kapabilitas secara jujur.
- Report performance with confidence intervals and on the population it will serve, not only on aggregate test sets.
- Periksa kontaminasi: data uji yang bocor ke dalam data pelatihan menggelembungkan skor, masalah yang sudah dikenal pada tolok ukur AI.
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Separate a demonstration, a pilot and sustained operation; each is a different claim.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Assessment reports, not approvals.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
How capability is reported.
- Measured capability is published with workload, data size, hardware, configuration, software version and interval
- Peak, sustained, available and allocated capacity are reported separately
- Jumlah perangkat dan spesifikasi merupakan deskriptor, bukan hasil penerapan
- Penggunaan energi, pendinginan, dan air dipantau, dengan pengukuran dipisahkan dari estimasi
- Kegagalan dan keterbatasan yang ditemukan selama pengujian dilaporkan, bukan dihapus
Dari rencana evaluasi hingga hasil yang tercatat.
- 01
Rencana evaluasi
Tujuan, metrik, kondisi, dan aturan penghentian yang disepakati sebelum pengujian.
- 02
Uji terkendali
Experiments in Labs test environments or the annual Universe programme, with independent observation.
- 03
Hasil tercatat
Results with their method, limits and evidence label, published where rights allow.
Testing is not certification.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
Badan dan dokumen yang menjadi acuan halaman ini. Status dan edisi berubah; setiap tautan menuju badan penerbitnya.
- Tingkat kesiapan teknologi (NASA)
- ISO 16290:2013 Space systems, definition of the technology readiness levels and their criteria of assessment (ISO)
- Collins and others, TRIPOD+AI statement, BMJ 385 (2024)
- OECD Framework for Anticipatory Governance of Emerging Technologies (OECD, 2024)
- European Parliamentary Technology Assessment network (EPTA)
- NIST AI Risk Management Framework 1.0 (NIST AI 100-1, 2023) and the Generative AI Profile (NIST AI 600-1, 2024)
- NS-11, Verifikasi dan pemantauan, standar yang diusulkan
Tanya jawab.
Dapatkah vendor mengutip penilaian GCRI dalam pemasaran?
Siapa yang membayar sebuah asesmen?
Are negative results published?
Apakah GCRI menggunakan tingkat kesiapan?
Dapatkah suatu penilaian disanggah?
Kontribusikan bukti dari halaman ini.
Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.
- SurelGerbang GW-GCRIKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- LaporanGCRILihat semua cara berkontribusiJenis kontribusi, cara masing-masing ditinjau, kredit yang Anda terima, lisensinya, dan apa yang tidak pernah diterima.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Bawa metode, dataset, atau pertanyaan.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Dokumen hukum.
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.