Skip to content

GCRI · Ingeniería

Ingeniería de evaluación y garantía de la IA

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02El método

What aI evaluation and assurance engineering covers.

  1. 01

    Métodos básicos

    evaluación de capacidades y seguridad; ejercicios de red teaming; pruebas de robustez y adversarias; evaluación de sesgo y equidad; elaboración de casos de aseguramiento; seguimiento posterior al despliegue.

  2. 02

    Datos e instrumentos

    pruebas de referencia de evaluación; informes de incidentes; documentación de modelos; registros de despliegue; registros de retroalimentación humana.

  3. 03

    Validación

    Se verifica la fiabilidad de los métodos de evaluación y su pertinencia para las condiciones de despliegue. La replicación independiente y las auditorías de terceros ponen a prueba las afirmaciones.

  4. 04

    Límites

    Los puntos de referencia pueden no reflejar el uso real ni las capacidades novedosas. Los sistemas de propósito general tienen un comportamiento abierto que impide someterlos a pruebas completas.

  5. 05

    Uso en decisiones de riesgo

    El aseguramiento de la IA determina si los sistemas automatizados merecen confianza en entornos de alto impacto. Ayuda a gestionar los riesgos cuando la IA se integra en las finanzas, la salud y las infraestructuras.

03Práctica de referencia

El aseguramiento de la IA se basa en marcos de riesgo, sistemas de gestión y prácticas de evaluación.

ReferenciaQué establece
NIST AI RMFMeasure and manage functions
ISO/IEC 42001AI management system
Requisitos de conformidad de la Ley de IA de la UEObligaciones para los sistemasde alto riesgo, aplicadas por etapas
Monitor de Incidentes de IA de la OCDERecord of reported AI incidents
04Proceso

Cómo funciona el proceso.

Process explorer · Process

Ingeniería de evaluación y aseguramiento de la IA: gestión de riesgos de la IA (NIST)

9 steps5 stages1 gate

Proceso

Ingeniería de evaluación y aseguramiento de la IA: gestión de riesgos de la IA (NIST)

El núcleo del AI RMF tiene cuatro funciones, GOVERN, MAP, MEASURE y MANAGE, con GOVERN de carácter transversal; el orden representado es una lectura habitual, no una lista de verificación.

  1. 01 Gobernar

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: contexto y uso previstoConjunto de datosLa función MAP establece el contexto para enmarcar los riesgos relacionados con un sistema de IA, incluidos los propósitos previstos y los impactos en las personas.
  3. 03 Medir

    1. 03MEDIR: evaluar las características de fiabilidadModeloAI sistemas de IA se evalúan en función de características de fiabilidad. Deben probarse antes del despliegue y de forma periódica durante la operación.
    2. 04MEASURE: seguimiento de los riesgos identificados a lo largo del tiempoModeloExisten mecanismos para el seguimiento a lo largo del tiempo de los riesgos de IA identificados, incluidos los riesgos imprevistos y emergentes.
  4. 04 Gestionar

    1. 05GESTIONAR: tratar los riesgosPasoTratamiento del riesgo abarcan la respuesta a los incidentes, la recuperación y la comunicación sobre ellos. Los recursos se destinan a los riesgos cartografiados y medidos.
    2. 06Proceder o no (MANAGE 1.1)Puerta · Oficina técnica del GCRISe determina si el sistema cumple sus propósitos y objetivos, y si se debe continuar. El marco no establece umbrales.
    3. 07Decisión de despliegueDecisión · oficina técnica del GCRILa organización propietaria del sistema decide si lo despliega y en qué condiciones.
    4. 08Seguimiento posterior al despliegue e incidentesModeloSe aplican planes de seguimiento posteriores al despliegue. Los incidentes y errores se comparten con los actores de IA pertinentes, incluidas las comunidades afectadas.
  5. 05 Registro

    1. 09Inventario de sistemas de IAConjunto de datosGOVERN 1.6 pide mecanismos para inventariar los sistemas de IA. Una ficha de modelo es una práctica habitual y el marco no la nombra.

Esquema neutral de un estándar o método externo publicado, procedente del organismo que lo emite. No es un registro de operación. Nexus no realiza, certifica ni aprueba ninguno de los pasos mostrados. Una puerta o decisión corresponde a la parte que indica la fuente. Las acciones no constituyen necesariamente una serie ordenada de pasos. La Ley de IA de la UE no figura en este flujo.

05En el trabajo sobre riesgos sistémicos

Evidence that an AI system is fit for its use.

El aseguramiento construye un argumento de que un sistema es aceptablemente seguro para un uso definido, respaldado por evaluaciones, pruebas de red teaming, seguimiento y registros de incidentes. Para el riesgo sistémico el contexto de uso es lo que más importa: el mismo modelo puede ser aceptable para redactar e inaceptable para el triaje.

  • Defina el contexto de uso antes de evaluar.
  • Monitor after deployment; capability and use drift.
  • Record incidents and near misses.
  • Applications on AI and Autonomous Systems.
07Custodia responsable

Quién mantiene esta página.

Inteligencia artificial y sistemas autónomos custodia la ingeniería de evaluación y aseguramiento de la IA: mantiene actualizada esta descripción y revisa cómo se aplica el método en las plataformas.

09Preguntas

Preguntas y respuestas.

¿Por qué una sola institución aloja todas las páginas de métodos?
El GCRI aloja los Commons de CTIM para que cada método tenga una descripción canónica única. Las plataformas enlazan a ella en lugar de repetirla, lo que mantiene la coherencia de las definiciones.
¿Cómo propongo una corrección a una página de métodos?
Escribir a el formulario de inquietudes de integridad indicando el pasaje y el motivo.
serie ReportsContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

GCRI
El Global Centre for Risk and Innovation

Aporte un método, un conjunto de datos o una pregunta.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.