Skip to content

GCRI · Intelligenza artificiale e sistemi autonomi

Valutazione e assurance dell'IA

La valutazione dell'IA e l'ingegneria della garanzia sono il secondo metodo di cui questa piattaforma è custode. Forniscono le evidenze che un sistema di IA è idoneo a un uso dichiarato: valutazioni, red teaming, documentazione, monitoraggio e le argomentazioni strutturate che li collegano.

01Registrare

AI evaluation and assurance on the record.

Registro del metodoMetodo STEM
  1. MetodoIngegneria della valutazione e dell'assicurazione dell'IA
  2. CustodeStudio Intelligenza artificiale e sistemi
  3. Applicato inIntelligenza artificiale e sistemi autonomi
  4. Pagina canonicaBeni comuni STEM
02Domanda di adesione

What AI evaluation and assurance engineering does here.

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.

Casi di garanzia per i sistemi di IA

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Red teaming strutturato

Le prove avversarie sono pianificate sulla base di modelli di minaccia, con collaudatori, ambito, tempi ed esiti documentati, affinché la copertura possa essere valutata.

Monitoraggio post-implementazione

Incidenti, reclami e metriche di prestazione sono monitorati dopo il rilascio, e le soglie di attivazione per la revisione o il ripristino della versione precedente sono definite in anticipo.

03Monitoraggio

Evaluation suite.

La schermata che un gruppo utilizzerebbe per seguire questo metodo: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.

Evaluation suite

AI and autonomous systems · AI evaluation and assurance · Run R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

Suite di valutazione

Capacità58589RilascioSuperato
Robustezza13372RilascioSuperato
Bias and fairness16981RilascioSuperato
Misuse red team14279DistribuzioneRilievi aperti

Scheda del metodo

Metodo
Ingegneria della valutazione e dell'assicurazione dell'IA
Modello
M-196 v1
Titolare
model risk function
Etichetta
MODELLATO

Risultanze

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04Dati

Cosa utilizza il metodo.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

DatiRuoloEtichetta
Risultati della valutazioneEvidenze a sostegno delle affermazioniOSSERVATO
Red-team reportsFailure discoveryRIPORTATO
Registri degli incidentiField evidenceRIPORTATO
System documentationAmbito e ipotesiDICHIARATO
05Metodi ed evidenze

Come la valutazione e l'assicurazione dell'IA vengono modellate, misurate e sottoposte a prova.

Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.

Modello, equazioni e ipotesi

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

Rischio dell'elemento iRi = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di risposta
Perdita annua attesaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemi accoppiatixt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
IpotesiPerché è realizzatoCome viene testato
Pericolo ed esposizione sono indipendenti all'interno di un eventoMantiene trattabile l'integrale delle perditeConfrontare con un adattamento di copula su registrazioni congiunte
Gli accoppiamenti sono lineari vicino al punto di funzionamentoConsente agli shock di propagarsi attraverso APerturbare oltre l'intervallo lineare e confrontare
Le curve di vulnerabilità si trasferiscono da un luogo all'altroLe curve locali sono raramente disponibiliValidare rispetto alle perdite osservate, dove esistono
Input
set di dati versionati con provenienza
Risultati
distribuzioni, mai valori singoli
Codice
pubblicato con la scheda del modello e i test
Riproduzione
stessi dati, codice, ambiente e seed
Formulazioni standard del rischio e dello spazio degli stati; le ipotesi elencate sono tipiche del metodo, dichiarate per la revisione, non risultati.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validazione

Come vengono verificati i risultati.

Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

VerificaCome si fa
Revisione indipendenteAssurance cases are reviewed by people not involved in development
Evidence currencyLe evidenze vengono ricontrollate dopo modifiche al modello o alla distribuzione
Rendicontazione della coperturaLe valutazioni dichiarano ciò che non hanno verificato

Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

07Processo

Come si svolge il processo.

Process explorer · Process

Valutazione e garanzia dell'IA: gestione del rischio dell'IA (NIST)

9 steps5 stages1 gate

Processo

Valutazione e garanzia dell'IA: gestione del rischio dell'IA (NIST)

Il nucleo dell'AI RMF comprende quattro funzioni, GOVERN, MAP, MEASURE e MANAGE, con GOVERN trasversale; l'ordine illustrato è una lettura comune, non una lista di controllo.

  1. 01 Governare

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: context and intended useDatasetThe MAP function establishes the context to frame risks related to an AI system, including intended purposes and impacts on people.
  3. 03 Misurare

    1. 03MISURARE: valutare le caratteristiche di affidabilitàModelloAI sistemi di IA sono valutati rispetto alle caratteristiche di affidabilità. Dovrebbero essere testati prima della messa in opera e regolarmente durante l'esercizio.
    2. 04MISURARE: monitorare nel tempo i rischi identificatiModelloSono in atto meccanismi per il monitoraggio nel tempo dei rischi di IA individuati, inclusi quelli imprevisti ed emergenti.
  4. 04 Gestione

    1. 05GESTIRE: trattare i rischiPassaggioTrattamento del rischio comprendono la risposta agli incidenti, il ripristino e la comunicazione. Le risorse sono destinate ai rischi mappati e misurati.
    2. 06Procedere o meno (MANAGE 1.1)Gate · comitato per il rischio dell'IASi stabilisce se il sistema soddisfa i propri scopi e obiettivi e se procedere. Il quadro non fissa soglie.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08Monitoraggio post-implementazione e incidentiModelloI piani di monitoraggio post-implementazione sono attuati. Incidenti ed errori sono condivisi con gli attori dell'IA pertinenti, comprese le comunità interessate.
  5. 05 Registro

    1. 09Inventory of AI systemsDatasetGOVERN 1.6 asks for mechanisms to inventory AI systems. A model card is common practice and is not named in the framework.

Sintesi neutrale di uno standard o di un metodo esterno pubblicato, riportata dall'ente che lo ha emesso. Non costituisce una registrazione operativa. Nexus non esegue, certifica né approva alcuna fase illustrata. Un gate o una decisione spetta alla parte indicata dalla fonte. Le azioni non costituiscono necessariamente una sequenza ordinata di fasi. Il Regolamento UE sull'IA non è rappresentato in questo flusso.

09Custodia

Chi mantiene il metodo.

Studio Intelligenza artificiale e sistemi è custode dell'ingegneria della valutazione e della garanzia dell'IA per il Consortium e ne esamina l'applicazione nelle piattaforme.

10Domande

Domande e risposte.

What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Come vengono verificati i risultati?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
I valori di questa pagina sono reali?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Dove altro viene applicato questo metodo?
Il pagina canonica del metodo elenca ogni piattaforma che lo applica.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

GCRIIntelligenza artificiale e sistemi autonomiTecnologia esponenzialeEvidenze di Labs
Intelligenza artificiale e sistemi autonomi

Porta un metodo, un set di dati o una domanda.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.