Skip to content

GCRI · Ingegneria

Ingegneria della valutazione e dell'assicurazione dell'IA

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02Il metodo

What aI evaluation and assurance engineering covers.

  1. 01

    Metodi fondamentali

    valutazione delle capacità e della sicurezza; red teaming; test di robustezza e test avversariali; valutazione di distorsioni ed equità; sviluppo di casi di assurance; monitoraggio successivo all'implementazione.

  2. 02

    Dati e strumenti

    benchmark di valutazione; segnalazioni di incidenti; documentazione dei modelli; registri di implementazione; registrazioni del feedback umano.

  3. 03

    Validazione

    Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

  4. 04

    Limiti

    Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

  5. 05

    Uso nelle decisioni sui rischi

    L'assurance dell'IA stabilisce se i sistemi automatizzati possano essere considerati affidabili in contesti ad alto impatto. Aiuta a gestire i rischi quando l'IA è integrata nei settori finanziario, sanitario e delle infrastrutture.

03Prassi di riferimento

AI assurance draws on risk frameworks, management systems and evaluation practice.

RiferimentoChe cosa stabilisce
NIST AI RMFFunzioni di misurazione e gestione
ISO/IEC 42001Sistema di gestione dell'IA
Requisiti di conformità al regolamento UE sull'IA (EU AI Act)Obligations for high-risk systems, applied in stages
OECD AI Incidents MonitorRecord of reported AI incidents
04Processo

Come si svolge il processo.

Process explorer · Process

AI evaluation and assurance engineering: AI risk management (NIST)

9 steps5 stages1 gate

Processo

AI evaluation and assurance engineering: AI risk management (NIST)

Il nucleo dell'AI RMF comprende quattro funzioni, GOVERN, MAP, MEASURE e MANAGE, con GOVERN trasversale; l'ordine illustrato è una lettura comune, non una lista di controllo.

  1. 01 Governare

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: context and intended useDatasetThe MAP function establishes the context to frame risks related to an AI system, including intended purposes and impacts on people.
  3. 03 Misurare

    1. 03MISURARE: valutare le caratteristiche di affidabilitàModelloAI sistemi di IA sono valutati rispetto alle caratteristiche di affidabilità. Dovrebbero essere testati prima della messa in opera e regolarmente durante l'esercizio.
    2. 04MISURARE: monitorare nel tempo i rischi identificatiModelloSono in atto meccanismi per il monitoraggio nel tempo dei rischi di IA individuati, inclusi quelli imprevisti ed emergenti.
  4. 04 Gestione

    1. 05GESTIRE: trattare i rischiPassaggioTrattamento del rischio comprendono la risposta agli incidenti, il ripristino e la comunicazione. Le risorse sono destinate ai rischi mappati e misurati.
    2. 06Procedere o meno (MANAGE 1.1)Gate · Ufficio tecnico del GCRISi stabilisce se il sistema soddisfa i propri scopi e obiettivi e se procedere. Il quadro non fissa soglie.
    3. 07Decisione di implementazioneDecisione · ufficio tecnico del GCRIL'organizzazione proprietaria del sistema decide se e a quali condizioni procedere all'impiego.
    4. 08Monitoraggio post-implementazione e incidentiModelloI piani di monitoraggio post-implementazione sono attuati. Incidenti ed errori sono condivisi con gli attori dell'IA pertinenti, comprese le comunità interessate.
  5. 05 Registro

    1. 09Inventory of AI systemsDatasetGOVERN 1.6 asks for mechanisms to inventory AI systems. A model card is common practice and is not named in the framework.

Sintesi neutrale di uno standard o di un metodo esterno pubblicato, riportata dall'ente che lo ha emesso. Non costituisce una registrazione operativa. Nexus non esegue, certifica né approva alcuna fase illustrata. Un gate o una decisione spetta alla parte indicata dalla fonte. Le azioni non costituiscono necessariamente una sequenza ordinata di fasi. Il Regolamento UE sull'IA non è rappresentato in questo flusso.

05Nel lavoro sul rischio sistemico

Evidence that an AI system is fit for its use.

L'assurance costruisce un'argomentazione secondo cui un sistema è accettabilmente sicuro per un uso definito, sostenuta da valutazioni, red teaming, monitoraggio e registri degli incidenti. Per il rischio sistemico il contesto d'uso è decisivo: lo stesso modello può essere accettabile per la redazione di testi e inaccettabile per il triage.

07Custodia

Chi mantiene questa pagina.

Intelligenza artificiale e sistemi autonomi è custode della valutazione e dell'ingegneria di garanzia dell'IA: mantiene aggiornata questa descrizione e verifica come il metodo viene applicato nelle piattaforme.

08Fonti

Where this page’s references lead.

Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.

09Domande

Domande e risposte.

Perché un'unica istituzione ospita tutte le pagine di metodo?
Il GCRI ospita lo STEM Commons affinché ogni metodo abbia una sola descrizione canonica. Le piattaforme rimandano a essa anziché ripeterla, il che mantiene coerenti le definizioni.
Come posso suggerire una correzione a una pagina di metodo?
Scrivere a il modulo per le segnalazioni di integrità indicando il passaggio e il motivo.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

GCRI
Il Global Centre for Risk and Innovation

Porta un metodo, un set di dati o una domanda.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.