Casi di garanzia per i sistemi di IA
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
GCRI · Intelligenza artificiale e sistemi autonomi
La valutazione dell'IA e l'ingegneria della garanzia sono il secondo metodo di cui questa piattaforma è custode. Forniscono le evidenze che un sistema di IA è idoneo a un uso dichiarato: valutazioni, red teaming, documentazione, monitoraggio e le argomentazioni strutturate che li collegano.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
Le prove avversarie sono pianificate sulla base di modelli di minaccia, con collaudatori, ambito, tempi ed esiti documentati, affinché la copertura possa essere valutata.
Incidenti, reclami e metriche di prestazione sono monitorati dopo il rilascio, e le soglie di attivazione per la revisione o il ripristino della versione precedente sono definite in anticipo.
La schermata che un gruppo utilizzerebbe per seguire questo metodo: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
AI and autonomous systems · AI evaluation and assurance · Run R-0951
| Capacità | 585 | 89 | Rilascio | Superato |
| Robustezza | 133 | 72 | Rilascio | Superato |
| Bias and fairness | 169 | 81 | Rilascio | Superato |
| Misuse red team | 142 | 79 | Distribuzione | Rilievi aperti |
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| Dati | Ruolo | Etichetta |
|---|---|---|
| Risultati della valutazione | Evidenze a sostegno delle affermazioni | OSSERVATO |
| Red-team reports | Failure discovery | RIPORTATO |
| Registri degli incidenti | Field evidence | RIPORTATO |
| System documentation | Ambito e ipotesi | DICHIARATO |
Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.
The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di rispostaEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Ipotesi | Perché è realizzato | Come viene testato |
|---|---|---|
| Pericolo ed esposizione sono indipendenti all'interno di un evento | Mantiene trattabile l'integrale delle perdite | Confrontare con un adattamento di copula su registrazioni congiunte |
| Gli accoppiamenti sono lineari vicino al punto di funzionamento | Consente agli shock di propagarsi attraverso A | Perturbare oltre l'intervallo lineare e confrontare |
| Le curve di vulnerabilità si trasferiscono da un luogo all'altro | Le curve locali sono raramente disponibili | Validare rispetto alle perdite osservate, dove esistono |
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Verifica | Come si fa |
|---|---|
| Revisione indipendente | Assurance cases are reviewed by people not involved in development |
| Evidence currency | Le evidenze vengono ricontrollate dopo modifiche al modello o alla distribuzione |
| Rendicontazione della copertura | Le valutazioni dichiarano ciò che non hanno verificato |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Process explorer · Process
9 steps·5 stages·1 gate
Processo
Il nucleo dell'AI RMF comprende quattro funzioni, GOVERN, MAP, MEASURE e MANAGE, con GOVERN trasversale; l'ordine illustrato è una lettura comune, non una lista di controllo.
Sintesi neutrale di uno standard o di un metodo esterno pubblicato, riportata dall'ente che lo ha emesso. Non costituisce una registrazione operativa. Nexus non esegue, certifica né approva alcuna fase illustrata. Un gate o una decisione spetta alla parte indicata dalla fonte. Le azioni non costituiscono necessariamente una sequenza ordinata di fasi. Il Regolamento UE sull'IA non è rappresentato in questo flusso.
Studio Intelligenza artificiale e sistemi è custode dell'ingegneria della valutazione e della garanzia dell'IA per il Consortium e ne esamina l'applicazione nelle piattaforme.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.
Questo sito utilizza solo cookie strettamente necessari per funzionare e per ricordare le tue scelte sulla privacy. Nulla viene caricato da altre aziende e non vendiamo né condividiamo mai i tuoi dati personali.
Questo sito utilizza solo cookie strettamente necessari per funzionare e per ricordare le tue scelte sulla privacy. Nulla viene caricato da altre aziende e non vendiamo né condividiamo mai i tuoi dati personali. Non pubblichiamo pubblicità. Puoi rivedere le tue scelte in qualsiasi momento tramite Scelte sulla privacy, in fondo a ogni pagina.