Assurance cases for AI systems
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
GCRI · Yapay Zekâ ve Otonom Sistemler
Yapay zekâ değerlendirmesi ve güvence mühendisliği, bu platformun sorumlu yönetimini üstlendiği ikinci yöntemdir. Bir yapay zekâ sisteminin belirtilen bir kullanıma uygun olduğuna dair kanıtı sağlar: değerlendirmeler, kırmızı takım çalışması, dokümantasyon, izleme ve bunları birbirine bağlayan yapılandırılmış argümanlar.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.
Incidents, complaints and performance metrics are tracked after release, and triggers for review or rollback are defined in advance.
Bir ekibin bu yöntemi izlemek için kullanacağı ekran: ölçütleri, durumları ve kararları. Adlar örnektir ve değerler açıklayıcıdır.
AI and autonomous systems · AI evaluation and assurance · Run R-0951
| Kapasite | 585 | 89 | Yayın sürümü | Geçiş |
| Sağlamlık | 133 | 72 | Yayın sürümü | Geçiş |
| Önyargı ve adillik | 169 | 81 | Yayın sürümü | Geçiş |
| Kötüye kullanım kırmızı takımı | 142 | 79 | Deploy | Açık bulgular |
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| Veri | Rol | Etiket |
|---|---|---|
| Değerlendirme sonuçları | Evidence for claims | GÖZLENEN |
| Red-team reports | Failure discovery | BİLDİRİLMİŞ |
| Olay günlükleri | Field evidence | BİLDİRİLMİŞ |
| System documentation | Scope and assumptions | BEYAN EDİLDİ |
Model, varsayımları, verileri ve belirsizliği, bir bilim insanının veya mühendisin kontrol edeceği biçimde. Yapılar yayımlanmış yöntemleri izler. Çizilen değerler bulgu değil, açıklayıcıdır.
The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)tehlike, maruziyet, kırılganlık ve başa çıkma kapasitesiEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Varsayım | Neden yapıldığı | Nasıl sınanır |
|---|---|---|
| Bir olay içinde tehlike ve maruziyet bağımsızdır | Kayıp integralini çözülebilir tutar | Ortak kayıtlara uydurulmuş bir kopula ile karşılaştırın |
| Bağlantılar çalışma noktası yakınında doğrusaldır | Şokların A üzerinden yayılmasına izin verir | Doğrusal aralığın ötesine itin ve karşılaştırın |
| Kırılganlık eğrileri yerler arasında aktarılabilir | Yerel eğriler nadiren mevcuttur | Mevcut olduğunda gözlemlenen kayıplarla doğrulayın |
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Kontrol edin | Nasıl yapıldığı |
|---|---|
| Bağımsız inceleme | Assurance cases are reviewed by people not involved in development |
| Evidence currency | Evidence is re-checked after model or deployment changes |
| Kapsam raporlaması | Evaluations state what they did not test |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Process explorer · Process
9 steps·5 stages·1 gate
Süreç
AI RMF Core dört işleve sahiptir: GOVERN, MAP, MEASURE ve MANAGE; GOVERN bunların tümünü kesen bir işlevdir. Çizilen sıra yaygın bir okumadır, bir kontrol listesi değildir.
Yayımlayan kuruluşundan alınan, yayımlanmış bir dış standardın veya yöntemin tarafsız ana hatları. Bir işletim kaydı değildir. Nexus gösterilen hiçbir adımı gerçekleştirmez, belgelendirmez veya onaylamaz. Bir kapı veya karar, kaynağın belirttiği tarafa aittir. Eylemler mutlaka sıralı bir adımlar kümesi değildir. AB Yapay Zekâ Yasası bu akışta gösterilmemiştir.
Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.
Hiçbir zaman kişisel veri, hassas altyapı ayrıntısı veya paylaşma hakkınız olmayan hiçbir şey göndermeyin. Bir katkı kullanılmadan önce incelenir. Katkıyı göndermek yazarlık veya editoryal hak sağlamaz ve sponsorluk hiçbir zaman bir bulgu satın almaz.
Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.
Bu sitedeki haritalar, veriler ve şekiller bağlam ve genel bilgi amacıyla gösterilir. Tavsiye, tahmin ya da uyarı değildir; bilgilerin sınırları Sorumluluk Reddi ve Veri Bildirimleri'nde açıklanmıştır.
Bu site yalnızca çalışması ve gizlilik tercihlerinizi hatırlaması için kesinlikle gerekli çerezleri kullanır. Başka şirketlerden hiçbir şey yüklenmez ve kişisel bilgilerinizi asla satmayız veya paylaşmayız.
Bu site yalnızca çalışması ve gizlilik tercihlerinizi hatırlaması için kesinlikle gerekli çerezleri kullanır. Başka şirketlerden hiçbir şey yüklenmez ve kişisel bilgilerinizi asla satmayız veya paylaşmayız. Reklam yayınlamayız. Tercihlerinizi her sayfanın altındaki Gizlilik tercihleri bağlantısından istediğiniz zaman gözden geçirebilirsiniz.