Skip to content

GCRI · Inteligencia artificial y sistemas autónomos

Panorama del campo

La IA y los sistemas autónomos, como campo de riesgo, estudian cómo se comportan en el mundo real los modelos aprendidos, los agentes de software y los robots, cómo puede medirse su comportamiento y cómo sus fallas se propagan a las instituciones, las infraestructuras y las vidas que dependen de ellos. Esta página define el campo, explica por qué importa para la sociedad, expone lo que estudian los expertos y muestra cómo se conecta con otros riesgos.

Métodos CTIM
7
Métodos canónicos que aplica este campo
Temas
8
Páginas temáticas del ámbito
Contrapartes
3
Plataformas en campos compartidos en toda la red
Series de informes
2
Series de Reports a las que contribuye
01Definición

De los algoritmos a los sistemas desplegados.

Aprendizaje

Modelos y datos

Cómo los datos de entrenamiento, los objetivos y las arquitecturas determinan el comportamiento, incluidos los modos de falla.

Aseguramiento

Evaluación y supervisión

Cómo organiza sistemas bajo un control humano significativo.

Embodiment

Autonomía en el mundo

Cómo interactúan la percepción, la planificación y el control en los robots y los vehículos.

El campo combina la inteligencia artificial y aprendizaje automático, los métodos por los que los sistemas aprenden de los datos, con la ingeniería de evaluación y aseguramiento de la IA, la disciplina de ingeniería que los prueba y los asegura. Se extiende a la robótica y automatización, donde la IA controla máquinas físicas, y a la computación de alto rendimiento, en la nube y en el borde, la infraestructura que entrena y ejecuta los modelos.

Como campo de riesgo, se define por las consecuencias: lo que ocurre cuando un modelo generaliza mal, cuando un agente usa indebidamente una herramienta, cuando un robot interpreta mal su entorno o cuando muchos sistemas comparten el mismo defecto. Las ciencias sociales y del comportamiento forman parte del campo porque los efectos de la IA dependen de cómo las personas la usan, confían en ella y la cuestionan.

02Seguimiento

Panorama del campo.

La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.

Field overview: the screen’s structure, terms and states for AI and autonomous systems.Nombres de ejemplo y valores ilustrativos; un diseño, no un registro ni un sistema en vivo.
03Por qué importa

La IA se está convirtiendo en infraestructura.

  • La IA está pasando de herramientas de asesoramiento a sistemas que actúan, mediante agentes de software y autonomía física.
  • Public services increasingly use automated systems in decisions about people’s rights and access.
  • Un pequeño número de proveedores de modelos, plataformas en la nube y cadenas de suministro de chips sustentan muchas aplicaciones.
  • La ciencia de la evaluación va por detrás de las capacidades, por lo que las afirmaciones sobre seguridad y rendimiento suelen ser difíciles de verificar.
04Lo que estudian los expertos

Las preguntas centrales.

  1. 01

    Medición

    ¿Miden las evaluaciones lo que afirman, y se generalizan los resultados? Consulte Evaluación de modelos.

  2. 02

    Acción

    ¿Cómo debe delegarse la autoridad en sistemas que actúan? Consulte Sistemas agénticos y Sistemas físicos autónomos.

  3. 03

    Seguridad

    ¿Cómo pueden atacarse los modelos, y cómo puede la IA cambiar la ofensiva y la defensa cibernéticas? Consulte IA y ciberseguridad.

  4. 04

    Uso

    ¿Cómo cambia la IA la ciencia y los servicios públicos? Consulte La IA en la ciencia e IA y servicios públicos.

  5. 05

    Fundamentos y efectos

    ¿De qué depende la IA y a quién afecta? Consulte Computación y energía y Efectos laborales y sociales.

05Conexiones

Cómo afecta la IA a otros riesgos.

La IA se conecta con la ciberseguridad, la energía, los mercados laborales, las finanzas y la confianza pública. Dependencias y consecuencias explica esos vínculos. La gobernanza se convoca a través de Gobernanza de la IA y lo digital en The Global Risks Forum (GRF), y el riesgo de modelo del sector financiero se estudia a través de Riesgo de la IA y de los modelos financieros en The Global Risks Alliance (GRA).

06Páginas

Páginas de Panorama del campo.

07Preguntas

Preguntas y respuestas.

¿Es este campo lo mismo que la ética de la IA?
Se solapan, pero su foco es el comportamiento y las fallas medibles: validez, robustez, seguridad, fiabilidad y efectos, estudiados con métodos científicos.
¿En qué métodos se apoya el campo?
Aprendizaje automático, ingeniería de aseguramiento de la IA, computación, probabilidad y estadística, ciberseguridad, ciencias sociales y robótica. Cada uno se describe en la página de fundamentos STEM.
¿Abarca el campo la IA militar?
The platform’s scope is civilian systems and their public effects. It does not work on weapons development.
serie ReportsContribuir

Aporte evidencia desde esta página.

serie Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIInteligencia artificial y sistemas autónomosTecnología exponencialEvidencia de Labs
Inteligencia artificial y sistemas autónomos

Aporte un método, un conjunto de datos o una pregunta.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.