Skip to content

GCRI · Kecerdasan Buatan dan Sistem Otonom

Evaluasi dan penjaminan AI

Evaluasi AI dan rekayasa penjaminan adalah metode kedua yang dikelola platform ini. Metode ini menyediakan bukti bahwa suatu sistem AI layak untuk penggunaan yang dinyatakan: evaluasi, red teaming, dokumentasi, pemantauan, dan argumen terstruktur yang mengikat semuanya.

01Daftar

Evaluasi dan penjaminan AI dalam catatan.

Catatan metodeMetode STEM
  1. MetodeEvaluasi AI dan rekayasa penjaminan
  2. PengelolaStudio Kecerdasan Buatan dan Sistem
  3. Diterapkan diKecerdasan Buatan dan Sistem Otonom
  4. Canonical pageSTEM Commons
02Permohonan

Peran rekayasa evaluasi dan penjaminan AI di sini.

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Structured red teaming

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

Pemantauan pascapenerapan

Incidents, complaints and performance metrics are tracked after release, and triggers for review or rollback are defined in advance.

03Pantau

Evaluation suite.

Layar yang akan digunakan sebuah tim untuk mengikuti metode ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.

Evaluation suite

AI and autonomous systems · AI evaluation and assurance · Run R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

Evaluation suites

Kapabilitas58589RilisLintasan
Ketangguhan13372RilisLintasan
Bias dan keadilan16981RilisLintasan
Tim merah penyalahgunaan14279DeployTemuan terbuka

Kartu metode

Metode
Evaluasi AI dan rekayasa penjaminan
Model
M-196 v1
Pemilik
model risk function
Label
DIMODELKAN

Temuan

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04Data

Apa yang digunakan metode ini.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

DataPeranLabel
Hasil evaluasiEvidence for claimsTERAMATI
Red-team reportsFailure discoveryDILAPORKAN
Incident logsField evidenceDILAPORKAN
System documentationScope and assumptionsDINYATAKAN
05Metode dan bukti

Bagaimana evaluasi dan penjaminan AI dimodelkan, diukur, dan diuji.

Model, asumsi, data, dan ketidakpastiannya, dalam bentuk yang akan diperiksa ilmuwan atau insinyur. Strukturnya mengikuti metode yang dipublikasikan. Nilai yang digambar bersifat ilustratif, bukan temuan.

Model, persamaan, dan asumsi

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

Risiko elemen iRi = f(Hi, Ei, Vi, Ci)bahaya, keterpaparan, kerentanan, dan kapasitas penanggulangan
Kerugian tahunan yang diharapkanEAL = ∑k pk · Lkover events k with annual probability pk
Sistem terhubungxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AsumsiMengapa ini dibuatBagaimana ini diuji
Bahaya dan eksposur bersifat independen dalam satu peristiwaMenjaga integral kerugian tetap dapat dihitungBandingkan dengan pencocokan kopula pada catatan gabungan
Keterkaitan bersifat linear di dekat titik operasiMembiarkan guncangan merambat melalui AUji di luar rentang linear lalu bandingkan
Kurva kerentanan dapat dipindahkan antartempatKurva lokal jarang tersediaValidasi terhadap kerugian teramati jika tersedia
Masukan
dataset berversi dengan asal-usul yang tercatat
Keluaran
distribusi, bukan angka tunggal
Kode
dirilis bersama kartu model dan pengujiannya
Reproduksi
data, kode, lingkungan, dan seed yang sama
Formulasi risiko standar dan ruang keadaan; asumsi yang tercantum lazim bagi metode tersebut, dinyatakan untuk ditinjau, bukan hasil.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validasi

Cara hasil diperiksa.

Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

PemeriksaanCara pelaksanaannya
Tinjauan independenAssurance cases are reviewed by people not involved in development
Evidence currencyEvidence is re-checked after model or deployment changes
Pelaporan cakupanEvaluasi menyatakan apa yang tidak mereka uji

Tolok ukur mungkin tidak mencerminkan penggunaan di dunia nyata atau kemampuan baru. Sistem serbaguna memiliki perilaku terbuka yang sulit diuji secara menyeluruh.

07Proses

Bagaimana proses berjalan.

Process explorer · Process

Evaluasi dan penjaminan AI: Manajemen risiko AI (NIST)

9 steps5 stages1 gate

Proses

Evaluasi dan penjaminan AI: Manajemen risiko AI (NIST)

Inti AI RMF memiliki empat fungsi, yaitu GOVERN, MAP, MEASURE, dan MANAGE, dengan GOVERN bersifat lintas fungsi; urutan yang digambarkan adalah satu cara membaca yang umum, bukan daftar periksa.

  1. 01 Tata kelola

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: konteks dan penggunaan yang dimaksudkanKumpulan dataFungsi MAP menetapkan konteks untuk membingkai risiko yang terkait dengan sistem AI, termasuk tujuan yang dimaksudkan dan dampaknya terhadap manusia.
  3. 03 Ukur

    1. 03MEASURE: evaluate trustworthy characteristicsModelAI systems are evaluated for trustworthy characteristics. They should be tested before deployment and regularly in operation.
    2. 04MEASURE: track identified risks over timeModelMechanisms for tracking identified AI risks over time are in place, including unanticipated and emergent risks.
  4. 04 Kelola

    1. 05KELOLA: tangani risikoLangkahPenanganan risiko mencakup respons terhadap insiden, pemulihan darinya, dan komunikasi mengenainya. Sumber daya dialokasikan untuk risiko yang telah dipetakan dan diukur.
    2. 06Lanjutkan atau tidak (MANAGE 1.1)Gerbang · Komite risiko AIDitentukan apakah sistem memenuhi tujuan dan sasarannya, serta apakah akan dilanjutkan. Kerangka kerja tidak menetapkan ambang batas.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08Post-deployment monitoring and incidentsModelPost-deployment monitoring plans are implemented. Incidents and errors are shared with relevant AI actors, including affected communities.
  5. 05 Catatan

    1. 09Inventaris sistem AIKumpulan dataGOVERN 1.6 meminta adanya mekanisme untuk menginventarisasi sistem AI. Kartu model merupakan praktik yang lazim dan tidak disebutkan dalam kerangka kerja tersebut.

Garis besar netral dari standar atau metode eksternal yang diterbitkan, dari badan penerbitnya. Bukan catatan operasi. Nexus tidak melaksanakan, menyertifikasi, atau menyetujui langkah mana pun yang ditampilkan. Gerbang atau keputusan menjadi milik pihak yang disebutkan oleh sumbernya. Tindakan-tindakan ini tidak harus merupakan rangkaian langkah yang berurutan. EU AI Act tidak digambarkan dalam alur ini.

09Pengelolaan

Siapa yang memelihara metode ini.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10Pertanyaan

Tanya jawab.

What are the limits of AI evaluation and assurance engineering in this field?
Tolok ukur mungkin tidak mencerminkan penggunaan di dunia nyata atau kemampuan baru. Sistem serbaguna memiliki perilaku terbuka yang sulit diuji secara menyeluruh.
Bagaimana hasil diperiksa?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
Apakah nilai di halaman ini nyata?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Di mana lagi metode ini diterapkan?
Observatory Halaman metode kanonis mencantumkan setiap platform yang menerapkannya.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

GCRIKecerdasan Buatan dan Sistem OtonomTeknologi EksponensialBukti Labs
Kecerdasan Buatan dan Sistem Otonom

Bawa metode, dataset, atau pertanyaan.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.