Skip to content

GCRI · Inteligência artificial e sistemas autônomos

Avaliação e garantia de IA

A avaliação de IA e a engenharia de garantia são o segundo método de que esta plataforma é guardiã. Fornecem as evidências de que um sistema de IA é adequado a um uso declarado: avaliações, red teaming, documentação, monitoramento e os argumentos estruturados que os conectam.

01Registrar

AI evaluation and assurance on the record.

Registro do métodoMétodo CTEM
  1. MétodoEngenharia de avaliação e garantia de IA
  2. GuardiãoEstúdio de Inteligência artificial e sistemas
  3. Aplicado emInteligência artificial e sistemas autônomos
  4. Página canônicaCommons CTEM
02Candidatura

O que a engenharia de avaliação e garantia de IA faz aqui.

A engenharia de avaliação e garantia de IA desenvolve métodos para testar, monitorar e fornecer confiança justificada em sistemasde IA. Abrange desempenho, robustez, segurança e impacto social ao longo do ciclo de vida do sistema. Em inteligência artificial e dados e computação, a garantia de IA determina se sistemas automatizados são confiáveis em contextos de alta consequência. Ajuda a gerir riscos quando a IA está incorporada em finanças, saúde e infraestrutura. A descrição canônica está no o STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Red teaming estruturado

Os testes adversariais são planejados com base em modelos de ameaça, com testadores, escopo, tempo e achados documentados, para que a cobertura possa ser avaliada.

Monitoramento pós-implantação

Incidentes, reclamações e métricas de desempenho são acompanhados após a liberação, e os gatilhos para revisão ou reversão são definidos com antecedência.

03Monitoramento

Conjunto de avaliação.

A tela que uma equipe usaria para acompanhar este método: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.

Evaluation suite

IA e sistemas autônomos · Avaliação e garantia de IA · Execução R-0951

Uma etapa de controle pendenteGCRI · Inteligência artificial e sistemas autônomos

Evaluation suites

Capacidade58589VersãoAprovado
Robustez13372VersãoAprovado
Bias and fairness16981VersãoAprovado
Misuse red team14279ImplantarConstatações abertas

Ficha do método

Método
Engenharia de avaliação e garantia de IA
Modelo
M-196 v1
Proprietário
model risk function
Rótulo
MODELADO

Constatações

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04Dados

O que o método consome.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

DadosFunçãoRótulo
Resultados das avaliaçõesEvidence for claimsOBSERVADO
Relatórios de red teamDescoberta de falhasREPORTADO
Registros de incidentesField evidenceREPORTADO
Documentação do sistemaEscopo e premissasDECLARADO
05Métodos e evidência

How AI evaluation and assurance is modelled, measured and tested.

O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.

Modelo, equações e pressupostos

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

Risco do elemento iRi = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamento
Perda anual esperadaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemas acopladosxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
PressupostoPorque é feitoComo é testado
A ameaça e a exposição são independentes dentro de um eventoMantém tratável o integral de perdasComparar com um ajuste de cópula sobre registros conjuntos
Os acoplamentos são lineares perto do ponto de funcionamentoPermite que os choques se propaguem através de APerturbar para além do intervalo linear e comparar
As curvas de vulnerabilidade transferem-se entre lugaresAs curvas locais raramente estão disponíveisValidar face às perdas observadas quando existam
Entradas
conjuntos de dados versionados com proveniência
Resultados
distribuições, nunca números isolados
Código
publicado com a ficha de modelo e os testes
Reprodução
mesmos dados, código, ambiente e semente
Formulações padrão de risco e de espaço de estados; os pressupostos listados são típicos do método, indicados para revisão, não resultados.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validação

Como os resultados são verificados.

Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

VerificarComo é feito
Revisão independenteOs casos de garantia são revisados por pessoas não envolvidas no desenvolvimento
Evidence currencyAs evidências são reverificadas após mudanças no modelo ou na implantação
Relatório de coberturaAs avaliações declaram o que não testaram

Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

07Processo

Como decorre o processo.

Process explorer · Process

AI evaluation and assurance: AI risk management (NIST)

9 steps5 stages1 gate

Processo

AI evaluation and assurance: AI risk management (NIST)

O núcleo do AI RMF tem quatro funções, GOVERN, MAP, MEASURE e MANAGE, com GOVERN de caráter transversal; a ordem representada é uma leitura comum, não uma lista de verificação.

  1. 01 Governar

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: contexto e uso pretendidoConjunto de dadosA função MAP estabelece o contexto para delimitar os riscos relacionados a um sistema de IA, incluindo finalidades pretendidas e impactos sobre as pessoas.
  3. 03 Medir

    1. 03MEDIR: avaliar as características de confiabilidadeModeloAI sistemas de IA são avaliados quanto a características de confiabilidade. Devem ser testados antes da implantação e regularmente em operação.
    2. 04MEASURE: acompanhar os riscos identificados ao longo do tempoModeloHá mecanismos para acompanhar ao longo do tempo os riscos de IA identificados, incluindo riscos imprevistos e emergentes.
  4. 04 Gerenciar

    1. 05GERIR: tratar os riscosPassoTratamento do risco abrangem a resposta a incidentes, a recuperação e a comunicação sobre eles. Os recursos são destinados a riscos mapeados e medidos.
    2. 06Prosseguir ou não (MANAGE 1.1)Etapa de controle · Comitê de risco de IADetermina-se se o sistema cumpre seus propósitos e objetivos e se deve prosseguir. O quadro não estabelece limiares.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08Monitoramento pós-implantação e incidentesModeloPlanos de monitoramento pós-implantação são executados. Incidentes e erros são compartilhados com os atores de IA relevantes, inclusive as comunidades afetadas.
  5. 05 Registro

    1. 09Inventário de sistemas de IAConjunto de dadosGOVERN 1.6 pede mecanismos para inventariar sistemas de IA. O cartão de modelo é prática comum e não é mencionado na estrutura.

Esboço neutro de uma norma ou método externo publicado, conforme o órgão emissor. Não é um registro de operação. O Nexus não executa, certifica nem aprova nenhuma etapa mostrada. Uma etapa de controle ou decisão pertence à parte indicada pela fonte. As ações não constituem necessariamente um conjunto ordenado de etapas. A Lei de IA da UE não é representada neste fluxo.

09Gestão responsável

Quem mantém o método.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10Perguntas

Perguntas e respostas.

What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Como os resultados são verificados?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
Os valores desta página são reais?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Onde mais este método é aplicado?
A página canônica do método lista todas as plataformas que o aplicam.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

GCRIInteligência artificial e sistemas autônomosTecnologia exponencialEvidências de Labs
Inteligência artificial e sistemas autônomos

Traga um método, um conjunto de dados ou uma pergunta.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.