Skip to content

GCRI · Intelligence artificielle et systèmes autonomes

Vue d'ensemble du domaine

L'IA et les systèmes autonomes, en tant que domaine de risque, étudient comment les modèles appris, les agents logiciels et les robots se comportent dans le monde réel, comment leur comportement peut être mesuré et comment leurs défaillances se propagent dans les institutions, les infrastructures et les vies qui en dépendent. Cette page définit le domaine, explique pourquoi il est important pour la société, présente ce qu'étudient les experts et montre comment il se relie aux autres risques.

Méthodes STIM
7
Méthodes canoniques appliquées par ce domaine
Sujets
8
Pages thématiques sur le terrain
Homologues
3
Plateformes dans des domaines partagés à travers le réseau
Séries de rapports
2
Séries de Reports auxquelles il contribue
01Définition

Des algorithmes aux systèmes déployés.

Apprentissage

Modèles et données

Comment les données d'entraînement, les objectifs et les architectures façonnent le comportement, y compris les modes de défaillance.

Assurance

Évaluation et supervision

Comment Gestion des systèmes sont testés, surveillés et maintenus sous un contrôle humain effectif.

Embodiment

L'autonomie dans le monde

Comment la perception, la planification et le contrôle interagissent dans les robots et les véhicules.

Le domaine associe l' intelligence artificielle et apprentissage automatique, les méthodes par lesquelles les systèmes apprennent à partir de données, à l'évaluation de l'IA et à l'ingénierie de l'assurance, la discipline d'ingénierie qui les teste et en donne l'assurance. Il s'étend à la robotique et l'automatisation, où l'IA pilote des machines physiques, et au calcul haute performance, en nuage et en périphérie, l'infrastructure qui entraîne et exécute les modèles.

En tant que domaine de risque, il se définit par les conséquences : ce qui se passe lorsqu'un modèle généralise mal, lorsqu'un agent utilise un outil à mauvais escient, lorsqu'un robot interprète mal son environnement ou lorsque de nombreux systèmes partagent le même défaut. Les sciences sociales et comportementales font partie du domaine, car les effets de l'IA dépendent de la manière dont les personnes l'utilisent, lui font confiance et la contestent.

02Suivi

Vue d'ensemble du domaine.

L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.

Field overview: the screen’s structure, terms and states for AI and autonomous systems.Noms donnés à titre d'exemple et valeurs illustratives ; une conception, non un enregistrement ni un système en service.
03Pourquoi c'est important

L'IA devient une infrastructure.

  • L'IA passe d'outils de conseil à des systèmes qui agissent, au moyen d'agents logiciels et de l'autonomie physique.
  • Public services increasingly use automated systems in decisions about people’s rights and access.
  • Un petit nombre de fournisseurs de modèles, de plateformes infonuagiques et de chaînes d'approvisionnement en puces sous-tendent de nombreuses applications.
  • La science de l'évaluation est en retard sur les capacités, si bien que les affirmations sur la sûreté et la performance sont souvent difficiles à vérifier.
04Ce qu'étudient les experts

Les questions centrales.

  1. 01

    Mesure

    Les évaluations mesurent-elles ce qu'elles prétendent mesurer, et leurs résultats sont-ils généralisables ? Voir Évaluation des modèles.

  2. 02

    Action

    Comment déléguer l'autorité à des systèmes qui agissent ? Voir Systèmes agentiques et Systèmes physiques autonomes.

  3. 03

    Sécurité

    Comment les modèles peuvent-ils être attaqués, et comment l'IA peut-elle modifier l'attaque et la défense cybernétiques ? Voir IA et cybersécurité.

  4. 04

    Utiliser

    Comment l'IA change-t-elle la science et les services publics ? Voir L'IA dans la science et IA et services publics.

  5. 05

    Fondements et effets

    De quoi l'IA dépend-elle, et qui touche-t-elle ? Voir Calcul et énergie et Effets sur le travail et la société.

05Liens

Comment l'IA touche d'autres risques.

L'IA est liée à la cybersécurité, à l'énergie, aux marchés du travail, à la finance et à la confiance du public. Dépendances et conséquences explique ces liens. La gouvernance est réunie au sein de Gouvernance de l'IA et du numérique au Global Risks Forum (GRF), et le risque de modèle du secteur financier est étudié au sein de Risque lié à l'IA et aux modèles financiers à la Global Risks Alliance (GRA).

06Pages

Pages de Vue d'ensemble du domaine.

07Questions

Questions et réponses.

Ce domaine est-il la même chose que l'éthique de l'IA ?
Il la recoupe, mais il se concentre sur les comportements et les défaillances mesurables : validité, robustesse, sécurité, fiabilité et effets, étudiés par des méthodes scientifiques.
Sur quelles méthodes le domaine s'appuie-t-il ?
Apprentissage automatique, ingénierie de l'assurance de l'IA, informatique, probabilités et statistiques, cybersécurité, sciences sociales et robotique. Chacune est décrite sur la page des fondements STEM.
Le domaine couvre-t-il l'IA militaire ?
The platform’s scope is civilian systems and their public effects. It does not work on weapons development.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIIntelligence artificielle et systèmes autonomesTechnologies exponentiellesPreuves des Labs
Intelligence artificielle et systèmes autonomes

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.