GCRI · Rekayasa
Evaluasi AI dan rekayasa penjaminan
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
Rekayasa evaluasi dan penjaminan AI dalam enam bagian.
- 01MetodeCakupan rekayasa evaluasi dan penjaminan AI
- 02Praktik acuanPenjaminan AI bersumber dari kerangka risiko, sistem manajemen, dan praktik evaluasi
- 03In systemic risk workEvidence that an AI system is fit for its use
- 04Diterapkan diPlatform yang menerapkan metode ini
- 05PengelolaanSiapa yang memelihara halaman ini
- 06SourcesWhere this page’s references lead
What aI evaluation and assurance engineering covers.
- 01
Metode inti
capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.
- 02
Data dan instrumen
evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.
- 03
Validasi
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
- 04
Batasan
Tolok ukur mungkin tidak mencerminkan penggunaan di dunia nyata atau kemampuan baru. sistem serba guna memiliki perilaku terbuka yang sulit diuji secara menyeluruh.
- 05
Penggunaan dalam keputusan risiko
Penjaminan AI menentukan apakah sistem otomatis dapat dipercaya dalam situasi berkonsekuensi tinggi. Penjaminan ini membantu mengelola risiko ketika AI tertanam di bidang keuangan, kesehatan, dan infrastruktur.
AI assurance draws on risk frameworks, management systems and evaluation practice.
| Rujukan | Apa yang ditetapkan |
|---|---|
| NIST AI RMF | Fungsi pengukuran dan pengelolaan |
| ISO/IEC 42001 | Sistem manajemen AI |
| EU AI Act conformity requirements | Obligations for high-risk systems, applied in stages |
| OECD AI Incidents Monitor | Record of reported AI incidents |
Bagaimana proses berjalan.
Process explorer · Process
AI evaluation and assurance engineering: AI risk management (NIST)
9 steps·5 stages·1 gate
Proses
AI evaluation and assurance engineering: AI risk management (NIST)
Inti AI RMF memiliki empat fungsi, yaitu GOVERN, MAP, MEASURE, dan MANAGE, dengan GOVERN bersifat lintas fungsi; urutan yang digambarkan adalah satu cara membaca yang umum, bukan daftar periksa.
01 Tata kelola
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP: konteks dan penggunaan yang dimaksudkanKumpulan dataFungsi MAP menetapkan konteks untuk membingkai risiko yang terkait dengan sistem AI, termasuk tujuan yang dimaksudkan dan dampaknya terhadap manusia.
03 Ukur
- 03MEASURE: evaluate trustworthy characteristicsModelAI systems are evaluated for trustworthy characteristics. They should be tested before deployment and regularly in operation.
- 04MEASURE: track identified risks over timeModelMechanisms for tracking identified AI risks over time are in place, including unanticipated and emergent risks.
04 Kelola
- 05KELOLA: tangani risikoLangkahPenanganan risiko mencakup respons terhadap insiden, pemulihan darinya, dan komunikasi mengenainya. Sumber daya dialokasikan untuk risiko yang telah dipetakan dan diukur.
- 06Lanjutkan atau tidak (MANAGE 1.1)Gerbang · Kantor teknis GCRIDitentukan apakah sistem memenuhi tujuan dan sasarannya, serta apakah akan dilanjutkan. Kerangka kerja tidak menetapkan ambang batas.
- 07Keputusan penerapanKeputusan · Kantor teknis GCRIOrganisasi pemilik sistem memutuskan apakah dan dalam kondisi apa sistem akan diterapkan.
- 08Post-deployment monitoring and incidentsModelPost-deployment monitoring plans are implemented. Incidents and errors are shared with relevant AI actors, including affected communities.
05 Catatan
- 09Inventaris sistem AIKumpulan dataGOVERN 1.6 meminta adanya mekanisme untuk menginventarisasi sistem AI. Kartu model merupakan praktik yang lazim dan tidak disebutkan dalam kerangka kerja tersebut.
Garis besar netral dari standar atau metode eksternal yang diterbitkan, dari badan penerbitnya. Bukan catatan operasi. Nexus tidak melaksanakan, menyertifikasi, atau menyetujui langkah mana pun yang ditampilkan. Gerbang atau keputusan menjadi milik pihak yang disebutkan oleh sumbernya. Tindakan-tindakan ini tidak harus merupakan rangkaian langkah yang berurutan. EU AI Act tidak digambarkan dalam alur ini.
Evidence that an AI system is fit for its use.
Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.
- Tentukan konteks penggunaan sebelum melakukan evaluasi.
- Pantau setelah penerapan; kemampuan dan penggunaan bergeser.
- Record incidents and near misses.
- Aplikasi pada AI dan Sistem Otonom.
Platform yang menerapkan metode ini.
Siapa yang memelihara halaman ini.
Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.
Where this page’s references lead.
Badan dan dokumen yang menjadi acuan halaman ini. Status dan edisi berubah; setiap tautan menuju badan penerbitnya.
Tanya jawab.
Mengapa satu lembaga menyelenggarakan setiap halaman metode?
Bagaimana cara saya mengusulkan koreksi pada halaman metode?
Kontribusikan bukti dari halaman ini.
Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.
- SurelGerbang GW-GCRIKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- LaporanGCRILihat semua cara berkontribusiJenis kontribusi, cara masing-masing ditinjau, kredit yang Anda terima, lisensinya, dan apa yang tidak pernah diterima.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Bawa metode, dataset, atau pertanyaan.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Dokumen hukum.
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.