Skip to content

GCRI · Rekayasa

Evaluasi AI dan rekayasa penjaminan

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02Metode

What aI evaluation and assurance engineering covers.

  1. 01

    Metode inti

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    Data dan instrumen

    evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.

  3. 03

    Validasi

    Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

  4. 04

    Batasan

    Tolok ukur mungkin tidak mencerminkan penggunaan di dunia nyata atau kemampuan baru. sistem serba guna memiliki perilaku terbuka yang sulit diuji secara menyeluruh.

  5. 05

    Penggunaan dalam keputusan risiko

    Penjaminan AI menentukan apakah sistem otomatis dapat dipercaya dalam situasi berkonsekuensi tinggi. Penjaminan ini membantu mengelola risiko ketika AI tertanam di bidang keuangan, kesehatan, dan infrastruktur.

03Praktik acuan

AI assurance draws on risk frameworks, management systems and evaluation practice.

RujukanApa yang ditetapkan
NIST AI RMFFungsi pengukuran dan pengelolaan
ISO/IEC 42001Sistem manajemen AI
EU AI Act conformity requirementsObligations for high-risk systems, applied in stages
OECD AI Incidents MonitorRecord of reported AI incidents
04Proses

Bagaimana proses berjalan.

Process explorer · Process

AI evaluation and assurance engineering: AI risk management (NIST)

9 steps5 stages1 gate

Proses

AI evaluation and assurance engineering: AI risk management (NIST)

Inti AI RMF memiliki empat fungsi, yaitu GOVERN, MAP, MEASURE, dan MANAGE, dengan GOVERN bersifat lintas fungsi; urutan yang digambarkan adalah satu cara membaca yang umum, bukan daftar periksa.

  1. 01 Tata kelola

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: konteks dan penggunaan yang dimaksudkanKumpulan dataFungsi MAP menetapkan konteks untuk membingkai risiko yang terkait dengan sistem AI, termasuk tujuan yang dimaksudkan dan dampaknya terhadap manusia.
  3. 03 Ukur

    1. 03MEASURE: evaluate trustworthy characteristicsModelAI systems are evaluated for trustworthy characteristics. They should be tested before deployment and regularly in operation.
    2. 04MEASURE: track identified risks over timeModelMechanisms for tracking identified AI risks over time are in place, including unanticipated and emergent risks.
  4. 04 Kelola

    1. 05KELOLA: tangani risikoLangkahPenanganan risiko mencakup respons terhadap insiden, pemulihan darinya, dan komunikasi mengenainya. Sumber daya dialokasikan untuk risiko yang telah dipetakan dan diukur.
    2. 06Lanjutkan atau tidak (MANAGE 1.1)Gerbang · Kantor teknis GCRIDitentukan apakah sistem memenuhi tujuan dan sasarannya, serta apakah akan dilanjutkan. Kerangka kerja tidak menetapkan ambang batas.
    3. 07Keputusan penerapanKeputusan · Kantor teknis GCRIOrganisasi pemilik sistem memutuskan apakah dan dalam kondisi apa sistem akan diterapkan.
    4. 08Post-deployment monitoring and incidentsModelPost-deployment monitoring plans are implemented. Incidents and errors are shared with relevant AI actors, including affected communities.
  5. 05 Catatan

    1. 09Inventaris sistem AIKumpulan dataGOVERN 1.6 meminta adanya mekanisme untuk menginventarisasi sistem AI. Kartu model merupakan praktik yang lazim dan tidak disebutkan dalam kerangka kerja tersebut.

Garis besar netral dari standar atau metode eksternal yang diterbitkan, dari badan penerbitnya. Bukan catatan operasi. Nexus tidak melaksanakan, menyertifikasi, atau menyetujui langkah mana pun yang ditampilkan. Gerbang atau keputusan menjadi milik pihak yang disebutkan oleh sumbernya. Tindakan-tindakan ini tidak harus merupakan rangkaian langkah yang berurutan. EU AI Act tidak digambarkan dalam alur ini.

05Dalam kerja risiko sistemik

Evidence that an AI system is fit for its use.

Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.

  • Tentukan konteks penggunaan sebelum melakukan evaluasi.
  • Pantau setelah penerapan; kemampuan dan penggunaan bergeser.
  • Record incidents and near misses.
  • Aplikasi pada AI dan Sistem Otonom.
07Pengelolaan

Siapa yang memelihara halaman ini.

Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.

08Sumber

Where this page’s references lead.

Badan dan dokumen yang menjadi acuan halaman ini. Status dan edisi berubah; setiap tautan menuju badan penerbitnya.

09Pertanyaan

Tanya jawab.

Mengapa satu lembaga menyelenggarakan setiap halaman metode?
GCRI menyelenggarakan STEM Commons agar setiap metode memiliki satu deskripsi kanonis. Platform menautkannya alih-alih mengulanginya, sehingga definisi tetap konsisten.
Bagaimana cara saya mengusulkan koreksi pada halaman metode?
Tulis ke formulir kekhawatiran integritas dengan menyertakan kutipan dan alasannya.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

GCRI
Global Centre for Risk and Innovation

Bawa metode, dataset, atau pertanyaan.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.