GCRI · Engenharia
Engenharia de avaliação e garantia de IA
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
Engenharia de avaliação e garantia de IA em seis partes.
- 01O métodoO que abrange a engenharia de avaliação e garantia de IA
- 02Prática de referênciaA garantia de IA baseia-se em marcos de risco, sistemas de gestão e prática de avaliação
- 03No trabalho sobre risco sistêmicoEvidências de que um sistema de IA é adequado ao seu uso
- 04Aplicado emPlataformas que aplicam este método
- 05Gestão responsávelQuem mantém esta página
- 06SourcesWhere this page’s references lead
What aI evaluation and assurance engineering covers.
- 01
Métodos centrais
capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.
- 02
Dados e instrumentos
parâmetros de avaliação; relatórios de incidentes; documentação de modelos; registros de implantação; registros de feedback humano.
- 03
Validação
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
- 04
Limites
Os testes de referência podem não refletir o uso no mundo real nem capacidades novas. Os sistemas de uso geral têm comportamento aberto, que resiste a testes completos.
- 05
Uso em decisões de risco
A garantia de IA determina se sistemas automatizados são confiáveis em contextos de alta consequência. Ajuda a gerenciar riscos quando a IA está incorporada em finanças, saúde e infraestrutura.
A garantia de IA baseia-se em marcos de risco, sistemas de gestão e práticas de avaliação.
| Referência | O que estabelece |
|---|---|
| NIST AI RMF | Measure and manage functions |
| ISO/IEC 42001 | AI management system |
| Requisitos de conformidade da Lei de IA da UE | Obligations for high-risk systems, applied in stages |
| Monitor de Incidentes de IA da OCDE | Record of reported AI incidents |
Como decorre o processo.
Process explorer · Process
Engenharia de avaliação e garantia de IA: gestão de riscos de IA (NIST)
9 steps·5 stages·1 gate
Processo
Engenharia de avaliação e garantia de IA: gestão de riscos de IA (NIST)
O núcleo do AI RMF tem quatro funções, GOVERN, MAP, MEASURE e MANAGE, com GOVERN de caráter transversal; a ordem representada é uma leitura comum, não uma lista de verificação.
01 Governar
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP: contexto e uso pretendidoConjunto de dadosA função MAP estabelece o contexto para delimitar os riscos relacionados a um sistema de IA, incluindo finalidades pretendidas e impactos sobre as pessoas.
03 Medir
- 03MEDIR: avaliar as características de confiabilidadeModeloAI sistemas de IA são avaliados quanto a características de confiabilidade. Devem ser testados antes da implantação e regularmente em operação.
- 04MEASURE: acompanhar os riscos identificados ao longo do tempoModeloHá mecanismos para acompanhar ao longo do tempo os riscos de IA identificados, incluindo riscos imprevistos e emergentes.
04 Gerenciar
- 05GERIR: tratar os riscosPassoTratamento do risco abrangem a resposta a incidentes, a recuperação e a comunicação sobre eles. Os recursos são destinados a riscos mapeados e medidos.
- 06Prosseguir ou não (MANAGE 1.1)Etapa de controle · escritório técnico do GCRIDetermina-se se o sistema cumpre seus propósitos e objetivos e se deve prosseguir. O quadro não estabelece limiares.
- 07Decisão de implantaçãoDecisão · escritório técnico do GCRIA organização proprietária do sistema decide se o implanta e em que condições.
- 08Monitoramento pós-implantação e incidentesModeloPlanos de monitoramento pós-implantação são executados. Incidentes e erros são compartilhados com os atores de IA relevantes, inclusive as comunidades afetadas.
05 Registro
- 09Inventário de sistemas de IAConjunto de dadosGOVERN 1.6 pede mecanismos para inventariar sistemas de IA. O cartão de modelo é prática comum e não é mencionado na estrutura.
Esboço neutro de uma norma ou método externo publicado, conforme o órgão emissor. Não é um registro de operação. O Nexus não executa, certifica nem aprova nenhuma etapa mostrada. Uma etapa de controle ou decisão pertence à parte indicada pela fonte. As ações não constituem necessariamente um conjunto ordenado de etapas. A Lei de IA da UE não é representada neste fluxo.
Evidence that an AI system is fit for its use.
A garantia constrói um argumento de que um sistema é aceitavelmente seguro para um uso definido, sustentado por avaliações, testes adversariais (red teaming), monitoramento e registros de incidentes. Para o risco sistémico , o contexto de uso é o que mais importa: o mesmo modelo pode ser aceitável para redigir textos e inaceitável para triagem.
- Define the use context before evaluating.
- Monitor after deployment; capability and use drift.
- Record incidents and near misses.
- Aplicações em IA e Sistemas Autônomos.
Plataformas que aplicam este método.
Quem mantém esta página.
Inteligência artificial e sistemas autônomos é guardião da avaliação de IA e da engenharia de garantia: mantém esta descrição atualizada e revisa como o método é aplicado nas plataformas.
Where this page’s references lead.
Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.
Perguntas e respostas.
Por que uma só instituição hospeda todas as páginas de métodos?
Como posso sugerir uma correção a uma página de método?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.