GCRI · Ingeniería
Ingeniería de evaluación y garantía de la IA
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
Ingeniería de evaluación y aseguramiento de la IA en seis partes.
- 01El métodoQué abarca la ingeniería de evaluación y aseguramiento de la IA
- 02Práctica de referenciaEl aseguramiento de la IA se apoya en marcos de riesgo, sistemas de gestión y prácticas de evaluación
- 03En el trabajo sobre riesgos sistémicosEvidencia de que un sistema de IA es adecuado para su uso
- 04Se aplica enPlataformas que aplican este método
- 05Custodia responsableQuién mantiene esta página
- 06SourcesWhere this page’s references lead
What aI evaluation and assurance engineering covers.
- 01
Métodos básicos
evaluación de capacidades y seguridad; ejercicios de red teaming; pruebas de robustez y adversarias; evaluación de sesgo y equidad; elaboración de casos de aseguramiento; seguimiento posterior al despliegue.
- 02
Datos e instrumentos
pruebas de referencia de evaluación; informes de incidentes; documentación de modelos; registros de despliegue; registros de retroalimentación humana.
- 03
Validación
Se verifica la fiabilidad de los métodos de evaluación y su pertinencia para las condiciones de despliegue. La replicación independiente y las auditorías de terceros ponen a prueba las afirmaciones.
- 04
Límites
Los puntos de referencia pueden no reflejar el uso real ni las capacidades novedosas. Los sistemas de propósito general tienen un comportamiento abierto que impide someterlos a pruebas completas.
- 05
Uso en decisiones de riesgo
El aseguramiento de la IA determina si los sistemas automatizados merecen confianza en entornos de alto impacto. Ayuda a gestionar los riesgos cuando la IA se integra en las finanzas, la salud y las infraestructuras.
El aseguramiento de la IA se basa en marcos de riesgo, sistemas de gestión y prácticas de evaluación.
| Referencia | Qué establece |
|---|---|
| NIST AI RMF | Measure and manage functions |
| ISO/IEC 42001 | AI management system |
| Requisitos de conformidad de la Ley de IA de la UE | Obligaciones para los sistemasde alto riesgo, aplicadas por etapas |
| Monitor de Incidentes de IA de la OCDE | Record of reported AI incidents |
Cómo funciona el proceso.
Process explorer · Process
Ingeniería de evaluación y aseguramiento de la IA: gestión de riesgos de la IA (NIST)
9 steps·5 stages·1 gate
Proceso
Ingeniería de evaluación y aseguramiento de la IA: gestión de riesgos de la IA (NIST)
El núcleo del AI RMF tiene cuatro funciones, GOVERN, MAP, MEASURE y MANAGE, con GOVERN de carácter transversal; el orden representado es una lectura habitual, no una lista de verificación.
01 Gobernar
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP: contexto y uso previstoConjunto de datosLa función MAP establece el contexto para enmarcar los riesgos relacionados con un sistema de IA, incluidos los propósitos previstos y los impactos en las personas.
03 Medir
- 03MEDIR: evaluar las características de fiabilidadModeloAI sistemas de IA se evalúan en función de características de fiabilidad. Deben probarse antes del despliegue y de forma periódica durante la operación.
- 04MEASURE: seguimiento de los riesgos identificados a lo largo del tiempoModeloExisten mecanismos para el seguimiento a lo largo del tiempo de los riesgos de IA identificados, incluidos los riesgos imprevistos y emergentes.
04 Gestionar
- 05GESTIONAR: tratar los riesgosPasoTratamiento del riesgo abarcan la respuesta a los incidentes, la recuperación y la comunicación sobre ellos. Los recursos se destinan a los riesgos cartografiados y medidos.
- 06Proceder o no (MANAGE 1.1)Puerta · Oficina técnica del GCRISe determina si el sistema cumple sus propósitos y objetivos, y si se debe continuar. El marco no establece umbrales.
- 07Decisión de despliegueDecisión · oficina técnica del GCRILa organización propietaria del sistema decide si lo despliega y en qué condiciones.
- 08Seguimiento posterior al despliegue e incidentesModeloSe aplican planes de seguimiento posteriores al despliegue. Los incidentes y errores se comparten con los actores de IA pertinentes, incluidas las comunidades afectadas.
05 Registro
- 09Inventario de sistemas de IAConjunto de datosGOVERN 1.6 pide mecanismos para inventariar los sistemas de IA. Una ficha de modelo es una práctica habitual y el marco no la nombra.
Esquema neutral de un estándar o método externo publicado, procedente del organismo que lo emite. No es un registro de operación. Nexus no realiza, certifica ni aprueba ninguno de los pasos mostrados. Una puerta o decisión corresponde a la parte que indica la fuente. Las acciones no constituyen necesariamente una serie ordenada de pasos. La Ley de IA de la UE no figura en este flujo.
Evidence that an AI system is fit for its use.
El aseguramiento construye un argumento de que un sistema es aceptablemente seguro para un uso definido, respaldado por evaluaciones, pruebas de red teaming, seguimiento y registros de incidentes. Para el riesgo sistémico el contexto de uso es lo que más importa: el mismo modelo puede ser aceptable para redactar e inaceptable para el triaje.
- Defina el contexto de uso antes de evaluar.
- Monitor after deployment; capability and use drift.
- Record incidents and near misses.
- Applications on AI and Autonomous Systems.
Plataformas que aplican este método.
Quién mantiene esta página.
Inteligencia artificial y sistemas autónomos custodia la ingeniería de evaluación y aseguramiento de la IA: mantiene actualizada esta descripción y revisa cómo se aplica el método en las plataformas.
Where this page’s references lead.
Los organismos y documentos con los que se lee esta página. El estado y las ediciones cambian; cada enlace lleva al organismo emisor.
Preguntas y respuestas.
¿Por qué una sola institución aloja todas las páginas de métodos?
¿Cómo propongo una corrección a una página de métodos?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GCRIEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- serie ReportsGCRIVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Aporte un método, un conjunto de datos o una pregunta.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.