Skip to content

GCRI · Inteligencia artificial y sistemas autónomos

Evaluación y aseguramiento de la IA

La ingeniería de evaluación y aseguramiento de la IA es el segundo método que custodia esta plataforma. Aporta la evidencia de que un sistema de IA es apto para un uso declarado: evaluaciones, red teaming, documentación, seguimiento y los argumentos estructurados que los vinculan.

01Registro

AI evaluation and assurance on the record.

Registro del métodoMétodo CTIM
  1. MétodoIngeniería de evaluación y garantía de la IA
  2. CustodioEstudio de Inteligencia artificial y sistemas
  3. Se aplica enInteligencia artificial y sistemas autónomos
  4. Página canónicaProcomún CTIM
02Solicitud

Qué hace aquí la ingeniería de evaluación y aseguramiento de la IA.

La ingeniería de evaluación y aseguramiento de la IA desarrolla métodos para probar, supervisar y ofrecer una confianza justificada en los sistemasde IA. Aborda el rendimiento, la robustez, la seguridad y el impacto social a lo largo del ciclo de vida del sistema. En inteligencia artificial y en datos y computación, el aseguramiento de la IA determina si se puede confiar en los sistemas automatizados en contextos de alta consecuencia. Ayuda a gestionar los riesgos cuando la IA se integra en las finanzas, la salud y las infraestructuras. La descripción canónica figura en STEM Commons.

Casos de aseguramiento para sistemas de IA

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Red teaming estructurado

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

Seguimiento posterior al despliegue

Tras el lanzamiento se hace seguimiento de incidentes, reclamaciones y métricas de desempeño, y se definen de antemano los criterios de activación para la revisión o la reversión.

03Seguimiento

Evaluation suite.

La pantalla que utilizaría un equipo para seguir este método: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.

Evaluation suite

IA y sistemas autónomos · Evaluación y garantía de la IA · Ejecución R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

Conjuntos de evaluación

Capacidad58589VersiónAprobado
Robustez13372VersiónAprobado
Bias and fairness16981VersiónAprobado
Misuse red team14279DesplegarHallazgos abiertos

Ficha del método

Método
Ingeniería de evaluación y garantía de la IA
Modelo
M-196 v1
Propietario
model risk function
Etiqueta
MODELADO

Hallazgos

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04Datos

Lo que consume el método.

Conjuntos de datos y registros que utilizan la evaluación de IA y la ingeniería de garantía en esta plataforma, con la función de cada uno y la etiqueta que llevan sus valores. Las fuentes figuran en el registro de fuentes.

DatosFunciónEtiqueta
Resultados de la evaluaciónEvidence for claimsOBSERVADO
Informes de equipo rojoDetección de fallosNOTIFICADO
Registros de incidentesField evidenceNOTIFICADO
Documentación del sistemaAlcance y supuestosDECLARADO
05Métodos y evidencia

How AI evaluation and assurance is modelled, measured and tested.

El modelo, sus supuestos, sus datos y su incertidumbre, en la forma en que un científico o un ingeniero los comprobaría. Las estructuras siguen métodos publicados. Los valores representados son ilustrativos, no hallazgos.

Modelo, ecuaciones y supuestos

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

Riesgo del elemento iRi = f(Hi, Ei, Vi, Ci)amenaza, exposición, vulnerabilidad y capacidad de afrontamiento
Pérdida anual esperadaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemas acopladosxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
SupuestoPor qué se haceCómo se prueba
La amenaza y la exposición son independientes dentro de un eventoMantiene manejable la integral de pérdidasComparar con un ajuste de cópula sobre registros conjuntos
Los acoplamientos son lineales cerca del punto de operaciónPermite que las perturbaciones se propaguen a través de APerturbar más allá del rango lineal y comparar
Las curvas de vulnerabilidad se transfieren entre lugaresLas curvas locales rara vez están disponiblesValidar frente a las pérdidas observadas cuando existan
Entradas
conjuntos de datos versionados con procedencia
Resultados
distribuciones, nunca cifras únicas
Código
publicado con la ficha de modelo y las pruebas
Reproducción
mismos datos, código, entorno y semilla
Formulaciones estándar de riesgo y de espacio de estados; los supuestos enumerados son los típicos del método, expuestos para su revisión, no resultados.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validación

Cómo se verifican los resultados.

Se verifica la fiabilidad de los métodos de evaluación y su pertinencia para las condiciones de despliegue. La replicación independiente y las auditorías de terceros ponen a prueba las afirmaciones.

VerificaciónCómo se hace
Revisión independienteLos casos de aseguramiento son revisados por personas ajenas al desarrollo
Evidence currencyLa evidencia se vuelve a comprobar tras los cambios de modelo o de despliegue
Informes de coberturaLas evaluaciones declaran lo que no sometieron a prueba

Los puntos de referencia pueden no reflejar el uso real ni capacidades nuevas. Los sistemas de propósito general tienen un comportamiento abierto que se resiste a una prueba completa.

07Proceso

Cómo funciona el proceso.

Process explorer · Process

Evaluación y aseguramiento de la IA: gestión de riesgos de la IA (NIST)

9 steps5 stages1 gate

Proceso

Evaluación y aseguramiento de la IA: gestión de riesgos de la IA (NIST)

El núcleo del AI RMF tiene cuatro funciones, GOVERN, MAP, MEASURE y MANAGE, con GOVERN de carácter transversal; el orden representado es una lectura habitual, no una lista de verificación.

  1. 01 Gobernar

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: contexto y uso previstoConjunto de datosLa función MAP establece el contexto para enmarcar los riesgos relacionados con un sistema de IA, incluidos los propósitos previstos y los impactos en las personas.
  3. 03 Medir

    1. 03MEDIR: evaluar las características de fiabilidadModeloAI sistemas de IA se evalúan en función de características de fiabilidad. Deben probarse antes del despliegue y de forma periódica durante la operación.
    2. 04MEASURE: seguimiento de los riesgos identificados a lo largo del tiempoModeloExisten mecanismos para el seguimiento a lo largo del tiempo de los riesgos de IA identificados, incluidos los riesgos imprevistos y emergentes.
  4. 04 Gestionar

    1. 05GESTIONAR: tratar los riesgosPasoTratamiento del riesgo abarcan la respuesta a los incidentes, la recuperación y la comunicación sobre ellos. Los recursos se destinan a los riesgos cartografiados y medidos.
    2. 06Proceder o no (MANAGE 1.1)Puerta · Comité de riesgos de IASe determina si el sistema cumple sus propósitos y objetivos, y si se debe continuar. El marco no establece umbrales.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08Seguimiento posterior al despliegue e incidentesModeloSe aplican planes de seguimiento posteriores al despliegue. Los incidentes y errores se comparten con los actores de IA pertinentes, incluidas las comunidades afectadas.
  5. 05 Registro

    1. 09Inventario de sistemas de IAConjunto de datosGOVERN 1.6 pide mecanismos para inventariar los sistemas de IA. Una ficha de modelo es una práctica habitual y el marco no la nombra.

Esquema neutral de un estándar o método externo publicado, procedente del organismo que lo emite. No es un registro de operación. Nexus no realiza, certifica ni aprueba ninguno de los pasos mostrados. Una puerta o decisión corresponde a la parte que indica la fuente. Las acciones no constituyen necesariamente una serie ordenada de pasos. La Ley de IA de la UE no figura en este flujo.

09Custodia responsable

Quién mantiene el método.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10Preguntas

Preguntas y respuestas.

¿Cuáles son los límites de la evaluación y la ingeniería de garantía de la IA en este campo?
Los puntos de referencia pueden no reflejar el uso real ni capacidades nuevas. Los sistemas de propósito general tienen un comportamiento abierto que se resiste a una prueba completa.
¿Cómo se verifican los resultados?
Se verifica la fiabilidad de los métodos de evaluación y su pertinencia para las condiciones de despliegue. La replicación independiente y las auditorías de terceros ponen a prueba las afirmaciones.
¿Son reales los valores de esta página?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
¿Dónde más se aplica este método?
La página canónica del método enumera todas las plataformas que lo aplican.
serie ReportsContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

GCRIInteligencia artificial y sistemas autónomosTecnología exponencialEvidencia de Labs
Inteligencia artificial y sistemas autónomos

Aporte un método, un conjunto de datos o una pregunta.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.