Skip to content

GCRI · Mühendislik

Yapay zekâ değerlendirme ve güvence mühendisliği

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02Yöntem

What aI evaluation and assurance engineering covers.

  1. 01

    Temel yöntemler

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    Veriler ve araçlar

    evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.

  3. 03

    Doğrulama

    Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

  4. 04

    Sınırlar

    Karşılaştırmalı testler gerçek dünya kullanımını veya yeni yetenekleri yansıtmayabilir. Genel amaçlı sistemleri davranışı sınırsızdır ve eksiksiz teste elverişli değildir.

  5. 05

    Risk kararlarında kullanım

    AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.

03Referans uygulaması

AI assurance draws on risk frameworks, management systems and evaluation practice.

ReferansBelirledikleri
NIST AI RMFMeasure and manage functions
ISO/IEC 42001AI management system
EU AI Act conformity requirementsObligations for high-risk systems, applied in stages
OECD Yapay Zekâ Olayları İzleme AracıRecord of reported AI incidents
04Süreç

Sürecin nasıl işlediği.

Process explorer · Process

AI evaluation and assurance engineering: AI risk management (NIST)

9 steps5 stages1 gate

Süreç

AI evaluation and assurance engineering: AI risk management (NIST)

AI RMF Core dört işleve sahiptir: GOVERN, MAP, MEASURE ve MANAGE; GOVERN bunların tümünü kesen bir işlevdir. Çizilen sıra yaygın bir okumadır, bir kontrol listesi değildir.

  1. 01 Yönet

    1. 01GOVERN: politikalar, roller ve hesap verebilirlikAdım · The Global Centre for Risk and Innovation (GCRI) teknik ofisiGOVERN kesişen bir işlevdir. Yapay zekâ risk yönetiminin tamamına yayılır ve diğer işlevleri mümkün kılar.
  2. 02 Map

    1. 02MAP: bağlam ve amaçlanan kullanımVeri kümesiMAP işlevi, amaçlanan kullanımlar ve insanlar üzerindeki etkiler dahil olmak üzere bir yapay zekâ sistemiyle ilgili riskleri çerçevelemek için bağlamı belirler.
  3. 03 Ölçme

    1. 03MEASURE: evaluate trustworthy characteristicsModelAI systems are evaluated for trustworthy characteristics. They should be tested before deployment and regularly in operation.
    2. 04MEASURE: track identified risks over timeModelMechanisms for tracking identified AI risks over time are in place, including unanticipated and emergent risks.
  4. 04 Yönet

    1. 05YÖNET: riskleri ele alAdımRisk işleme planları olaylara müdahaleyi, olaylardan toparlanmayı ve olaylara ilişkin iletişimi kapsar. Kaynaklar, haritalanmış ve ölçülmüş risklere yönlendirilir.
    2. 06Devam edilip edilmeyeceği (MANAGE 1.1)Geçit · GCRI teknik ofisiSistemin amaç ve hedeflerini karşılayıp karşılamadığı ve devam edilip edilmeyeceği belirlenir. Çerçeve herhangi bir eşik belirlemez.
    3. 07Devreye alma kararıKarar · GCRI teknik ofisiSistemin sahibi olan kuruluş, devreye alıp almayacağına ve hangi koşullarda alacağına karar verir.
    4. 08Post-deployment monitoring and incidentsModelPost-deployment monitoring plans are implemented. Incidents and errors are shared with relevant AI actors, including affected communities.
  5. 05 Kayıt

    1. 09Yapay zekâ sistemleri envanteriVeri kümesiGOVERN 1.6, yapay zekâ sistemlerinin envanterini çıkarmaya yönelik mekanizmalar öngörür. Model kartı yaygın bir uygulamadır ve çerçevede adıyla anılmaz.

Yayımlayan kuruluşundan alınan, yayımlanmış bir dış standardın veya yöntemin tarafsız ana hatları. Bir işletim kaydı değildir. Nexus gösterilen hiçbir adımı gerçekleştirmez, belgelendirmez veya onaylamaz. Bir kapı veya karar, kaynağın belirttiği tarafa aittir. Eylemler mutlaka sıralı bir adımlar kümesi değildir. AB Yapay Zekâ Yasası bu akışta gösterilmemiştir.

05Sistemik risk çalışmalarında

Evidence that an AI system is fit for its use.

Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.

  • Define the use context before evaluating.
  • Monitor after deployment; capability and use drift.
  • Record incidents and near misses.
  • Applications on AI and Autonomous Systems.
07Sorumlu yönetim

Bu sayfayı kim sürdürüyor.

Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.

09Sorular

Sorular ve yanıtlar.

Neden her yöntem sayfasına tek bir kurum ev sahipliği yapıyor?
GCRI, her yöntemin tek bir kanonik tanımı olması için STEM Commons'a ev sahipliği yapar. Platformlar tanımı tekrarlamak yerine ona bağlantı verir; bu da tanımların tutarlı kalmasını sağlar.
Bir yöntem sayfasına nasıl düzeltme önerebilirim?
RaporlarKatkıda bulunun

Bu sayfadan kanıt katkısında bulunun.

Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.

GCRI
Global Centre for Risk and Innovation

Bir yöntem, bir veri seti ya da bir soru getirin.

Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.