GCRI · Ingegneria
Ingegneria della valutazione e dell'assicurazione dell'IA
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
AI evaluation and assurance engineering in six parts.
- 01The methodWhat aI evaluation and assurance engineering covers
- 02Prassi di riferimentoL'assurance sull'IA attinge a quadri di riferimento per il rischio, sistemi di gestione e pratiche di valutazione
- 03Nel lavoro sul rischio sistemicoEvidenze che un sistema di IA è idoneo al suo uso
- 04Applicato inPiattaforme che applicano questo metodo
- 05CustodiaChi cura questa pagina
- 06SourcesWhere this page’s references lead
What aI evaluation and assurance engineering covers.
- 01
Metodi fondamentali
valutazione delle capacità e della sicurezza; red teaming; test di robustezza e test avversariali; valutazione di distorsioni ed equità; sviluppo di casi di assurance; monitoraggio successivo all'implementazione.
- 02
Dati e strumenti
benchmark di valutazione; segnalazioni di incidenti; documentazione dei modelli; registri di implementazione; registrazioni del feedback umano.
- 03
Validazione
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
- 04
Limiti
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
- 05
Uso nelle decisioni sui rischi
L'assurance dell'IA stabilisce se i sistemi automatizzati possano essere considerati affidabili in contesti ad alto impatto. Aiuta a gestire i rischi quando l'IA è integrata nei settori finanziario, sanitario e delle infrastrutture.
AI assurance draws on risk frameworks, management systems and evaluation practice.
| Riferimento | Che cosa stabilisce |
|---|---|
| NIST AI RMF | Funzioni di misurazione e gestione |
| ISO/IEC 42001 | Sistema di gestione dell'IA |
| Requisiti di conformità al regolamento UE sull'IA (EU AI Act) | Obligations for high-risk systems, applied in stages |
| OECD AI Incidents Monitor | Record of reported AI incidents |
Come si svolge il processo.
Process explorer · Process
AI evaluation and assurance engineering: AI risk management (NIST)
9 steps·5 stages·1 gate
Processo
AI evaluation and assurance engineering: AI risk management (NIST)
Il nucleo dell'AI RMF comprende quattro funzioni, GOVERN, MAP, MEASURE e MANAGE, con GOVERN trasversale; l'ordine illustrato è una lettura comune, non una lista di controllo.
01 Governare
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP: context and intended useDatasetThe MAP function establishes the context to frame risks related to an AI system, including intended purposes and impacts on people.
03 Misurare
- 03MISURARE: valutare le caratteristiche di affidabilitàModelloAI sistemi di IA sono valutati rispetto alle caratteristiche di affidabilità. Dovrebbero essere testati prima della messa in opera e regolarmente durante l'esercizio.
- 04MISURARE: monitorare nel tempo i rischi identificatiModelloSono in atto meccanismi per il monitoraggio nel tempo dei rischi di IA individuati, inclusi quelli imprevisti ed emergenti.
04 Gestione
- 05GESTIRE: trattare i rischiPassaggioTrattamento del rischio comprendono la risposta agli incidenti, il ripristino e la comunicazione. Le risorse sono destinate ai rischi mappati e misurati.
- 06Procedere o meno (MANAGE 1.1)Gate · Ufficio tecnico del GCRISi stabilisce se il sistema soddisfa i propri scopi e obiettivi e se procedere. Il quadro non fissa soglie.
- 07Decisione di implementazioneDecisione · ufficio tecnico del GCRIL'organizzazione proprietaria del sistema decide se e a quali condizioni procedere all'impiego.
- 08Monitoraggio post-implementazione e incidentiModelloI piani di monitoraggio post-implementazione sono attuati. Incidenti ed errori sono condivisi con gli attori dell'IA pertinenti, comprese le comunità interessate.
05 Registro
- 09Inventory of AI systemsDatasetGOVERN 1.6 asks for mechanisms to inventory AI systems. A model card is common practice and is not named in the framework.
Sintesi neutrale di uno standard o di un metodo esterno pubblicato, riportata dall'ente che lo ha emesso. Non costituisce una registrazione operativa. Nexus non esegue, certifica né approva alcuna fase illustrata. Un gate o una decisione spetta alla parte indicata dalla fonte. Le azioni non costituiscono necessariamente una sequenza ordinata di fasi. Il Regolamento UE sull'IA non è rappresentato in questo flusso.
Evidence that an AI system is fit for its use.
L'assurance costruisce un'argomentazione secondo cui un sistema è accettabilmente sicuro per un uso definito, sostenuta da valutazioni, red teaming, monitoraggio e registri degli incidenti. Per il rischio sistemico il contesto d'uso è decisivo: lo stesso modello può essere accettabile per la redazione di testi e inaccettabile per il triage.
- Define the use context before evaluating.
- Monitor after deployment; capability and use drift.
- Record incidents and near misses.
- Applicazioni su Intelligenza artificiale e sistemi autonomi.
Piattaforme che applicano questo metodo.
Chi mantiene questa pagina.
Intelligenza artificiale e sistemi autonomi è custode della valutazione e dell'ingegneria di garanzia dell'IA: mantiene aggiornata questa descrizione e verifica come il metodo viene applicato nelle piattaforme.
Where this page’s references lead.
Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.
Domande e risposte.
Perché un'unica istituzione ospita tutte le pagine di metodo?
Come posso suggerire una correzione a una pagina di metodo?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.