Skip to content

GCRI · Tecnología

Inteligencia artificial y aprendizaje automático

La inteligencia artificial y el aprendizaje automático desarrollan algoritmos que aprenden patrones a partir de datos para clasificar, predecir o generar resultados. Se utilizan cada vez más para la detección de amenazas, la previsión y el apoyo a la decisión, y son en sí mismos una fuente de riesgo. Inteligencia Artificial y sistemas Autónomos es custodio de esta página para el Nexus Consortium.

02El método

What artificial intelligence and machine learning covers.

  1. 01

    Métodos básicos

    supervised learning; deep neural networks; reinforcement learning; representation learning; probabilistic modelling; model interpretation.

  2. 02

    Datos e instrumentos

    labelled training datasets; sensor and image archives; text corpora; simulation outputs; benchmark suites.

  3. 03

    Validación

    Los modelos se evalúan con datos reservados que respetan la estructura espacial, temporal y de grupos. La robustez, la calibración y la equidad se prueban junto con la exactitud.

  4. 04

    Límites

    El desempeño se degrada cuando las condiciones de despliegue difieren de los datos de entrenamiento. Los modelos pueden incorporar sesgos y fallar sin aviso claro ante eventos poco frecuentes.

  5. 05

    Uso en decisiones de riesgo

    El aprendizaje automático puede ampliar la escala de la detección y la predicción en sistemasinterconectados. Sus propios modos de fallo deben sopesarse cuando los resultados automatizados orientan decisiones de consecuencia.

03Práctica de referencia

Machine learning in risk work is governed by AI risk frameworks and reporting standards.

ReferenciaQué establece
NIST AI RMFFunciones de gestión de riesgos para sistemas
ISO/IEC 42001AI management systems
TRIPOD (EQUATOR)Notificación de modelos de predicción, incluidas las extensiones de aprendizaje automático
04Proceso

Cómo funciona el proceso.

Process explorer · Process

Inteligencia artificial y aprendizaje automático: gestión de riesgos de la IA (NIST)

9 steps5 stages1 gate

Proceso

Inteligencia artificial y aprendizaje automático: gestión de riesgos de la IA (NIST)

El núcleo del AI RMF tiene cuatro funciones, GOVERN, MAP, MEASURE y MANAGE, con GOVERN de carácter transversal; el orden representado es una lectura habitual, no una lista de verificación.

  1. 01 Gobernar

    1. 01GOVERN: políticas, funciones y rendición de cuentasPaso · Revisor independienteGOVERN es una función transversal. Está presente en toda la gestión de riesgos de la IA y habilita las demás funciones.
  2. 02 Map

    1. 02MAP: contexto y uso previstoConjunto de datosLa función MAP establece el contexto para enmarcar los riesgos relacionados con un sistema de IA, incluidos los propósitos previstos y los impactos en las personas.
  3. 03 Medir

    1. 03MEDIR: evaluar las características de fiabilidadModeloAI sistemas de IA se evalúan en función de características de fiabilidad. Deben probarse antes del despliegue y de forma periódica durante la operación.
    2. 04MEASURE: seguimiento de los riesgos identificados a lo largo del tiempoModeloExisten mecanismos para el seguimiento a lo largo del tiempo de los riesgos de IA identificados, incluidos los riesgos imprevistos y emergentes.
  4. 04 Gestionar

    1. 05GESTIONAR: tratar los riesgosPasoTratamiento del riesgo abarcan la respuesta a los incidentes, la recuperación y la comunicación sobre ellos. Los recursos se destinan a los riesgos cartografiados y medidos.
    2. 06Proceed or not (MANAGE 1.1)Gate · Independent reviewerA determination is made whether the system meets its purposes and objectives, and whether to proceed. The framework sets no thresholds.
    3. 07Decisión de despliegueDecisión · Revisor independienteLa organización propietaria del sistema decide si lo despliega y en qué condiciones.
    4. 08Seguimiento posterior al despliegue e incidentesModeloSe aplican planes de seguimiento posteriores al despliegue. Los incidentes y errores se comparten con los actores de IA pertinentes, incluidas las comunidades afectadas.
  5. 05 Registro

    1. 09Inventario de sistemas de IAConjunto de datosGOVERN 1.6 pide mecanismos para inventariar los sistemas de IA. Una ficha de modelo es una práctica habitual y el marco no la nombra.

Esquema neutral de un estándar o método externo publicado, procedente del organismo que lo emite. No es un registro de operación. Nexus no realiza, certifica ni aprueba ninguno de los pasos mostrados. Una puerta o decisión corresponde a la parte que indica la fuente. Las acciones no constituyen necesariamente una serie ordenada de pasos. La Ley de IA de la UE no figura en este flujo.

05En el trabajo sobre riesgos sistémicos

Fast emulators, fragile extrapolation.

El aprendizaje automático acelera el análisis de riesgos: emuladores de modelos físicos costosos, clasificación de imágenes, pronóstico a partir de grandes conjuntos de datos. Su debilidad es la extrapolación: un modelo entrenado con el clima histórico o con mercados históricos puede fallar justo en las condiciones sin precedentes de las que trata el riesgo sistémico .

  • Test performance out of distribution, not only on held-out samples from the same period.
  • Informar de la procedencia y la licencia de los datos de entrenamiento.
  • Keep a physical or mechanistic check where one exists.
  • Applications on AI and Autonomous Systems and Labs.
07Custodia responsable

Quién mantiene esta página.

Artificial Intelligence and Autonomous Systems stewards artificial intelligence and machine learning: it keeps this description current and reviews how the method is applied across the platforms.

08Fuentes

Where this page’s references lead.

Los organismos y documentos con los que se lee esta página. El estado y las ediciones cambian; cada enlace lleva al organismo emisor.

09Preguntas

Preguntas y respuestas.

¿Por qué una sola institución aloja todas las páginas de métodos?
El GCRI aloja los Commons de CTIM para que cada método tenga una descripción canónica única. Las plataformas enlazan a ella en lugar de repetirla, lo que mantiene la coherencia de las definiciones.
¿Cómo propongo una corrección a una página de métodos?
Escribir a el formulario de inquietudes de integridad indicando el pasaje y el motivo.
serie ReportsContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

GCRI
El Global Centre for Risk and Innovation

Aporte un método, un conjunto de datos o una pregunta.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.