Skip to content

GCRI · Engenharia

Engenharia de avaliação e garantia de IA

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02O método

What aI evaluation and assurance engineering covers.

  1. 01

    Métodos centrais

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    Dados e instrumentos

    parâmetros de avaliação; relatórios de incidentes; documentação de modelos; registros de implantação; registros de feedback humano.

  3. 03

    Validação

    Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

  4. 04

    Limites

    Os testes de referência podem não refletir o uso no mundo real nem capacidades novas. Os sistemas de uso geral têm comportamento aberto, que resiste a testes completos.

  5. 05

    Uso em decisões de risco

    A garantia de IA determina se sistemas automatizados são confiáveis em contextos de alta consequência. Ajuda a gerenciar riscos quando a IA está incorporada em finanças, saúde e infraestrutura.

03Prática de referência

A garantia de IA baseia-se em marcos de risco, sistemas de gestão e práticas de avaliação.

ReferênciaO que estabelece
NIST AI RMFMeasure and manage functions
ISO/IEC 42001AI management system
Requisitos de conformidade da Lei de IA da UEObligations for high-risk systems, applied in stages
Monitor de Incidentes de IA da OCDERecord of reported AI incidents
04Processo

Como decorre o processo.

Process explorer · Process

Engenharia de avaliação e garantia de IA: gestão de riscos de IA (NIST)

9 steps5 stages1 gate

Processo

Engenharia de avaliação e garantia de IA: gestão de riscos de IA (NIST)

O núcleo do AI RMF tem quatro funções, GOVERN, MAP, MEASURE e MANAGE, com GOVERN de caráter transversal; a ordem representada é uma leitura comum, não uma lista de verificação.

  1. 01 Governar

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: contexto e uso pretendidoConjunto de dadosA função MAP estabelece o contexto para delimitar os riscos relacionados a um sistema de IA, incluindo finalidades pretendidas e impactos sobre as pessoas.
  3. 03 Medir

    1. 03MEDIR: avaliar as características de confiabilidadeModeloAI sistemas de IA são avaliados quanto a características de confiabilidade. Devem ser testados antes da implantação e regularmente em operação.
    2. 04MEASURE: acompanhar os riscos identificados ao longo do tempoModeloHá mecanismos para acompanhar ao longo do tempo os riscos de IA identificados, incluindo riscos imprevistos e emergentes.
  4. 04 Gerenciar

    1. 05GERIR: tratar os riscosPassoTratamento do risco abrangem a resposta a incidentes, a recuperação e a comunicação sobre eles. Os recursos são destinados a riscos mapeados e medidos.
    2. 06Prosseguir ou não (MANAGE 1.1)Etapa de controle · escritório técnico do GCRIDetermina-se se o sistema cumpre seus propósitos e objetivos e se deve prosseguir. O quadro não estabelece limiares.
    3. 07Decisão de implantaçãoDecisão · escritório técnico do GCRIA organização proprietária do sistema decide se o implanta e em que condições.
    4. 08Monitoramento pós-implantação e incidentesModeloPlanos de monitoramento pós-implantação são executados. Incidentes e erros são compartilhados com os atores de IA relevantes, inclusive as comunidades afetadas.
  5. 05 Registro

    1. 09Inventário de sistemas de IAConjunto de dadosGOVERN 1.6 pede mecanismos para inventariar sistemas de IA. O cartão de modelo é prática comum e não é mencionado na estrutura.

Esboço neutro de uma norma ou método externo publicado, conforme o órgão emissor. Não é um registro de operação. O Nexus não executa, certifica nem aprova nenhuma etapa mostrada. Uma etapa de controle ou decisão pertence à parte indicada pela fonte. As ações não constituem necessariamente um conjunto ordenado de etapas. A Lei de IA da UE não é representada neste fluxo.

05No trabalho sobre risco sistêmico

Evidence that an AI system is fit for its use.

A garantia constrói um argumento de que um sistema é aceitavelmente seguro para um uso definido, sustentado por avaliações, testes adversariais (red teaming), monitoramento e registros de incidentes. Para o risco sistémico , o contexto de uso é o que mais importa: o mesmo modelo pode ser aceitável para redigir textos e inaceitável para triagem.

  • Define the use context before evaluating.
  • Monitor after deployment; capability and use drift.
  • Record incidents and near misses.
  • Aplicações em IA e Sistemas Autônomos.
07Gestão responsável

Quem mantém esta página.

Inteligência artificial e sistemas autônomos é guardião da avaliação de IA e da engenharia de garantia: mantém esta descrição atualizada e revisa como o método é aplicado nas plataformas.

08Fontes

Where this page’s references lead.

Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.

09Perguntas

Perguntas e respostas.

Por que uma só instituição hospeda todas as páginas de métodos?
O GCRI hospeda o CTEM Commons para que cada método tenha uma descrição canônica. As plataformas remetem a ela em vez de repeti-la, o que mantém as definições consistentes.
Como posso sugerir uma correção a uma página de método?
Escrever para o formulário de preocupações de integridade com o trecho e o motivo.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

GCRI
O Global Centre for Risk and Innovation

Traga um método, um conjunto de dados ou uma pergunta.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.