Casos de aseguramiento para sistemas de IA
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
GCRI · Inteligencia artificial y sistemas autónomos
La ingeniería de evaluación y aseguramiento de la IA es el segundo método que custodia esta plataforma. Aporta la evidencia de que un sistema de IA es apto para un uso declarado: evaluaciones, red teaming, documentación, seguimiento y los argumentos estructurados que los vinculan.
La ingeniería de evaluación y aseguramiento de la IA desarrolla métodos para probar, supervisar y ofrecer una confianza justificada en los sistemasde IA. Aborda el rendimiento, la robustez, la seguridad y el impacto social a lo largo del ciclo de vida del sistema. En inteligencia artificial y en datos y computación, el aseguramiento de la IA determina si se puede confiar en los sistemas automatizados en contextos de alta consecuencia. Ayuda a gestionar los riesgos cuando la IA se integra en las finanzas, la salud y las infraestructuras. La descripción canónica figura en STEM Commons.
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.
Tras el lanzamiento se hace seguimiento de incidentes, reclamaciones y métricas de desempeño, y se definen de antemano los criterios de activación para la revisión o la reversión.
La pantalla que utilizaría un equipo para seguir este método: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.
IA y sistemas autónomos · Evaluación y garantía de la IA · Ejecución R-0951
| Capacidad | 585 | 89 | Versión | Aprobado |
| Robustez | 133 | 72 | Versión | Aprobado |
| Bias and fairness | 169 | 81 | Versión | Aprobado |
| Misuse red team | 142 | 79 | Desplegar | Hallazgos abiertos |
Conjuntos de datos y registros que utilizan la evaluación de IA y la ingeniería de garantía en esta plataforma, con la función de cada uno y la etiqueta que llevan sus valores. Las fuentes figuran en el registro de fuentes.
| Datos | Función | Etiqueta |
|---|---|---|
| Resultados de la evaluación | Evidence for claims | OBSERVADO |
| Informes de equipo rojo | Detección de fallos | NOTIFICADO |
| Registros de incidentes | Field evidence | NOTIFICADO |
| Documentación del sistema | Alcance y supuestos | DECLARADO |
El modelo, sus supuestos, sus datos y su incertidumbre, en la forma en que un científico o un ingeniero los comprobaría. Las estructuras siguen métodos publicados. Los valores representados son ilustrativos, no hallazgos.
The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)amenaza, exposición, vulnerabilidad y capacidad de afrontamientoEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Supuesto | Por qué se hace | Cómo se prueba |
|---|---|---|
| La amenaza y la exposición son independientes dentro de un evento | Mantiene manejable la integral de pérdidas | Comparar con un ajuste de cópula sobre registros conjuntos |
| Los acoplamientos son lineales cerca del punto de operación | Permite que las perturbaciones se propaguen a través de A | Perturbar más allá del rango lineal y comparar |
| Las curvas de vulnerabilidad se transfieren entre lugares | Las curvas locales rara vez están disponibles | Validar frente a las pérdidas observadas cuando existan |
Se verifica la fiabilidad de los métodos de evaluación y su pertinencia para las condiciones de despliegue. La replicación independiente y las auditorías de terceros ponen a prueba las afirmaciones.
| Verificación | Cómo se hace |
|---|---|
| Revisión independiente | Los casos de aseguramiento son revisados por personas ajenas al desarrollo |
| Evidence currency | La evidencia se vuelve a comprobar tras los cambios de modelo o de despliegue |
| Informes de cobertura | Las evaluaciones declaran lo que no sometieron a prueba |
Los puntos de referencia pueden no reflejar el uso real ni capacidades nuevas. Los sistemas de propósito general tienen un comportamiento abierto que se resiste a una prueba completa.
Process explorer · Process
9 steps·5 stages·1 gate
Proceso
El núcleo del AI RMF tiene cuatro funciones, GOVERN, MAP, MEASURE y MANAGE, con GOVERN de carácter transversal; el orden representado es una lectura habitual, no una lista de verificación.
Esquema neutral de un estándar o método externo publicado, procedente del organismo que lo emite. No es un registro de operación. Nexus no realiza, certifica ni aprueba ninguno de los pasos mostrados. Una puerta o decisión corresponde a la parte que indica la fuente. Las acciones no constituyen necesariamente una serie ordenada de pasos. La Ley de IA de la UE no figura en este flujo.
Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.
Este sitio utiliza únicamente las cookies estrictamente necesarias para funcionar y para recordar sus opciones de privacidad. No se carga nada de otras empresas, y nunca vendemos ni compartimos su información personal.
Este sitio utiliza únicamente las cookies estrictamente necesarias para funcionar y para recordar sus opciones de privacidad. No se carga nada de otras empresas, y nunca vendemos ni compartimos su información personal. No publicamos publicidad. Puede revisar sus opciones en cualquier momento desde Opciones de privacidad, al pie de cada página.