GCRI · Intelligenza artificiale e sistemi autonomi
Valutazione dei modelli
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
- 01La domandaModel evaluation: how the risk develops
- 02Tra i dominiEvaluation must reflect the domain where a model is used
- 03IndicatoriCosa viene misurato e con quale accuratezza
- 04FontiDa dove provengono le evidenze
- 05DecisioniChi decide, e a cosa servono le evidenze
- 06Questioni centraliWhat evaluators ask
- 07MeccanismiWhy scores mislead
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
Registro dei modelli.
La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
Registro dei modelli
Model evaluation · Model registry · Release gate
Modelli
| M-184 triage assistant | Servizio pubblico | Alto | 19 of 24 suites | Bloccato |
| M-320 flood nowcast | Scienza | Medio | 12 su 12 | Rilasciato |
| M-157 document search | Interno | Basso | 8 of 8 | Rilasciato |
| M-563 agent planner | Agentico | Alto | 12 of 16 | In valutazione |
Scheda del modello
- Uso previsto
- supporto al triage, decide una persona
- Fuori ambito
- decisioni di ammissibilità
- Limiti noti
- minore accuratezza sui casi rari
- Titolare
- Responsabile del modello
Registro degli incidenti
- D-21INCCitazione allucinata nel riepilogo
- D-9MITRetrieval grounding aggiunto
- D-2INCPrompt injection tramite file caricato
- D-1MITAutorizzazione dello strumento ristretta
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- SaluteAccoppiamentoClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- AcquaAccoppiamentoHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- CiboAccoppiamentoCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the serie Labs Evidence. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.
Modello, equazioni e ipotesi
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di rispostaEAL = ∑k pk · Lksu eventi k con probabilità annua pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Ipotesi | Perché è realizzato | Come viene testato |
|---|---|---|
| Pericolo ed esposizione sono indipendenti all'interno di un evento | Mantiene trattabile l'integrale delle perdite | Confrontare con un adattamento di copula su registrazioni congiunte |
| Gli accoppiamenti sono lineari vicino al punto di funzionamento | Consente agli shock di propagarsi attraverso A | Perturbare oltre l'intervallo lineare e confrontare |
| Le curve di vulnerabilità si trasferiscono da un luogo all'altro | Le curve locali sono raramente disponibili | Validare rispetto alle perdite osservate, dove esistono |
- Input
- set di dati versionati con provenienza
- Risultati
- distribuzioni, mai valori singoli
- Codice
- pubblicato con la scheda del modello e i test
- Riproduzione
- stessi dati, codice, ambiente e seed
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | RIPORTATO |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | DICHIARATO |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | RIPORTATO |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | OSSERVATO |
| Post-deployment incident reports | count by type | mensile | Incident monitoring | RIPORTATO |
| Errore di calibrazione | expected calibration error | per evaluation | Evaluation on held-out data | OSSERVATO |
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| Rapporto internazionale sulla sicurezza dell'IA | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | Aperto, CC BY 4.0 |
Chi decide, e a cosa servono le evidenze.
Studio Intelligenza artificiale e sistemi prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Sviluppatori | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
Output prodotti da questo argomento
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as spostamento di distribuzione, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with probabilità e statistica. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using scienze sociali e comportamentali methods for rater agreement. Human judgement is costly and can be inconsistent.
Come viene studiato, e cosa i metodi non possono dire.
- 01Ingegneria della valutazione e dell'assicurazione dell'IACasi di garanzia per i sistemi di IA · Red teaming strutturato · Monitoraggio successivo all'impiegoApplicato qui
- 02Probabilità e statisticaIncertezza sui punteggi di riferimento · Valutazione della calibrazione · Campionamento per auditApplicato qui
- 03Intelligenza artificiale e apprendimento automaticoAnalisi degli spostamenti di distribuzione · Messa a punto per un uso specifico · Metodi di interpretabilitàApplicato qui
- 04Scienze sociali e comportamentaliStudi sulla supervisione umana · Ricerca sulle comunità interessate · Studi sull'adozione nei luoghi di lavoroApplicato qui
Where this page’s references lead.
Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.
Dove porta questa pagina nel Consorzio.
Domande e risposte.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
Contribuisci con evidenze da questa pagina.
Rapporti is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoDeposito apertoDepositalo e invialo alla comunitàPubblica il tuo registro su Zenodo con il tuo ORCID iD, poi invialo alla comunità Reports. I curatori lo esaminano; il DOI resta tuo.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.