GCRI · Inteligência artificial e sistemas autônomos
Avaliação de modelos
Model evaluation asks what an AI model can do, how reliably, and where it fails. Benchmarks, red teaming, human studies and field monitoring each measure something different, and none fully predicts behaviour in deployment. This page sets out how evaluations are designed and where they mislead, how results should be reported, and what evidence serves the developers, deployers and regulators who rely on them.
Model evaluation in seven parts.
- 01A perguntaModel evaluation: how the risk develops
- 02Em todos os domíniosEvaluation must reflect the domain where a model is used
- 03IndicadoresO que é medido e com que qualidade
- 04FontesDe onde vêm as evidências
- 05DecisõesQuem decide, e a que servem as evidências
- 06Questões centraisWhat evaluators ask
- 07MecanismosWhy scores mislead
Model evaluation: how the risk develops.
Validity, calibration and generalisation. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Benchmarks saturate and leak
Models quickly reach high scores on fixed benchmarks, and test items can leak into training data. High scores then say more about the benchmark than about general capability.
Test conditions differ from use
Evaluations use set prompts, settings and tasks. Real users phrase things differently, combine tools and face new situations, so measured performance may not transfer.
Adversarial testing finds hidden failures
Red teaming and adversarial prompts reveal unsafe or unreliable behaviour that average-case metrics miss. Coverage depends on the testers’ skill and the time allowed.
Performance drifts after deployment
Model updates, changing inputs and new uses alter behaviour over time. Without monitoring, a model evaluated at release can behave differently months later.
Registro de modelos.
A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.
Registo de modelos
Model evaluation · Model registry · Release gate
Modelos
| M-184 triage assistant | Serviço público | Elevado | 19 of 24 suites | Bloqueado |
| M-320 flood nowcast | Ciência | Médio | 12 de 12 | Lançado |
| M-157 document search | Interno | Baixo | 8 of 8 | Lançado |
| M-563 agent planner | Agêntico | Elevado | 12 of 16 | Avaliando |
Ficha do modelo
- Uso previsto
- apoio à triagem, decisão humana
- Fora do âmbito
- decisões de elegibilidade
- Limites conhecidos
- menor precisão em casos raros
- Proprietário
- Responsável pelo modelo
Registo de incidentes
- D-21INCCitação alucinada no resumo
- D-9MITAncoragem de recuperação adicionada
- D-2INCInjeção de prompt por arquivo enviado
- D-1MITPermissão da ferramenta reduzida
Evaluation scores
vs release threshold
Evaluation must reflect the domain where a model is used.
- SaúdeAcoplamentoClinical AI must be evaluated on the populations it serves.What to watchPerformance by subgroup
- ÁguaAcoplamentoHydrological ML must be tested out of sample in new basins.What to watchPerformance in ungauged basins
- AlimentaçãoAcoplamentoCrop monitoring models need local ground truth.What to watchAccuracy against field data
Evaluations are designed for the série Labs Evidence. The International AI Safety Report (2025) describes the limits of current evaluations; NIST’s AI RMF and its generative AI profile (2024) set measurement practice. Models would carry cards under NS-12 of the proposed Nexus Standards.
- Held-out test sets for a domain.
- Evaluation protocols with known failure cases.
How model evaluation is modelled, measured and tested.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo, equações e pressupostos
The model structure used for model evaluation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamentoEAL = ∑k pk · Lksobre os eventos k com probabilidade anual pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Pressuposto | Porque é feito | Como é testado |
|---|---|---|
| A ameaça e a exposição são independentes dentro de um evento | Mantém tratável o integral de perdas | Comparar com um ajuste de cópula sobre registros conjuntos |
| Os acoplamentos são lineares perto do ponto de funcionamento | Permite que os choques se propaguem através de A | Perturbar para além do intervalo linear e comparar |
| As curvas de vulnerabilidade transferem-se entre lugares | As curvas locais raramente estão disponíveis | Validar face às perdas observadas quando existam |
- Entradas
- conjuntos de dados versionados com proveniência
- Resultados
- distribuições, nunca números isolados
- Código
- publicado com a ficha de modelo e os testes
- Reprodução
- mesmos dados, código, ambiente e semente
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Benchmark score with uncertainty | score with confidence interval | per evaluation | Published benchmark results | REPORTADO |
| Contamination checks reported | percent of evaluations reporting checks | per evaluation | Evaluation reports | DECLARADO |
| Red-team findings by severity | count by severity class | per exercise | Red-team reports | REPORTADO |
| Performance gap between subgroups | difference in error rates | per evaluation | Disaggregated evaluation | OBSERVADO |
| Post-deployment incident reports | count by type | mensal | Incident monitoring | REPORTADO |
| Erro de calibração | expected calibration error | per evaluation | Evaluation on held-out data | OBSERVADO |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| Stanford HELM (Holistic Evaluation of Language Models) | Open, multi-metric evaluations of language models | Open source, Apache 2.0 for code; results public |
| MLCommons benchmarks, including AILuminate | Standardised performance and safety benchmarks | Public results, MLCommons terms (to check) |
| Relatório internacional sobre segurança da IA | Synthesis of evidence on capabilities, risks and evaluation limits | Public, terms per publisher |
| Model cards and system cards from developers | Developer-reported evaluations and limitations | Public documents, terms per developer |
| Epoch AI benchmark and model databases | Compiled benchmark results and model characteristics | Aberto, CC BY 4.0 |
Quem decide, e a que servem as evidências.
Estúdio de Inteligência artificial e sistemas prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Desenvolvedores | Whether a model is ready for release and what limits to state | Evaluation protocols; red-team findings |
| Deploying organisations | Whether a model is fit for a specific use | Use-specific evaluations; subgroup performance |
| Regulators and AI safety institutes | What evaluation evidence to require | Evaluation standards and reporting templates |
Produtos que este tema gera
- Evaluation protocols with uncertainty and contamination checks
- Disaggregated evaluation designs for subgroup performance
- Red-team methods for public sector use cases
- Evaluation reporting templates
What evaluators ask.
- Does the test measure the capability or property that matters for the intended use (construct validity)?
- When the model reports high confidence, is it right as often as that confidence implies (calibration)?
- Does performance hold on data from different places, times or populations (generalisation)?
- Has test data leaked into training, inflating results (contamination)?
Why scores mislead.
Models learn statistical regularities in their training data, including spurious ones. A medical imaging model may learn the hospital’s scanner signature rather than the disease; a language model may recognise benchmark questions it saw during training. When deployment data differ from test data, a problem known as mudança de distribuição, performance can fall sharply and without warning.
Large general-purpose models add new difficulties. Their capabilities are broad and emergent, outputs vary with phrasing, and the line between capability and memorisation is blurred. Aggregate scores can hide failures concentrated in particular groups or tasks.
How evaluation is done, and its limits.
- 01
Held-out and out-of-distribution testing
Testing on data deliberately different from training, analysed with probabilidade e estatística. No test set covers every deployment condition.
- 02
Calibration analysis
Comparing stated confidence with observed accuracy, and checking how it changes under shift.
- 03
Disaggregated evaluation
Reporting performance by subgroup and task rather than only on average. Small subgroups give uncertain estimates.
- 04
Human and expert evaluation
Structured assessment of open-ended outputs, using ciências sociais e comportamentais methods for rater agreement. Human judgement is costly and can be inconsistent.
Como é estudado e o que os métodos não podem dizer.
- 01Engenharia de avaliação e garantia de IACasos de garantia para sistemas de IA · Red teaming estruturado · Monitoramento pós-implantaçãoAplicado aqui
- 02Probabilidade e estatísticaIncerteza das pontuações de benchmark · Avaliação da calibração · Amostragem de auditoriaAplicado aqui
- 03Inteligência artificial e aprendizado de máquinaAnálise de mudança de distribuição · Ajuste fino para um uso específico · Métodos de interpretabilidadeAplicado aqui
- 04Ciências sociais e comportamentaisEstudos sobre supervisão humana · Pesquisa com comunidades afetadas · Estudos sobre adoção no local de trabalhoAplicado aqui
Where this page’s references lead.
Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.
Para onde esta página leva em todo o Consórcio.
Perguntas e respostas.
Why are benchmark scores not enough?
What is red teaming in AI?
What is data contamination?
Is a high benchmark score evidence a model is safe to deploy?
What is benchmark saturation?
Why evaluate after deployment too?
Will the platform publish evaluation protocols?
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.