Skip to content

GCRI · Ingénierie

Ingénierie de l'évaluation et de l'assurance de l'IA

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02La méthode

Ce que couvrent l'évaluation de l'IA et l'ingénierie de l'assurance.

  1. 01

    Méthodes de base

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    Données et instruments

    référentiels d'évaluation ; rapports d'incident ; documentation des modèles ; journaux de déploiement ; relevés de retours humains.

  3. 03

    Validation

    Les méthodes d'évaluation sont vérifiées quant à leur fiabilité et à leur pertinence au regard des conditions de déploiement. La réplication indépendante et les audits par des tiers mettent les affirmations à l'épreuve.

  4. 04

    Limites

    Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

  5. 05

    Utilisation dans les décisions relatives aux risques

    L'assurance de l'IA détermine si des systèmes automatisés peuvent être jugés dignes de confiance dans des contextes à fortes conséquences. Elle aide à gérer les risques lorsque l'IA est intégrée dans la finance, la santé et les infrastructures.

03Pratiques de référencement

L'assurance de l'IA s'appuie sur des cadres de risque, des systèmes de management et des pratiques d'évaluation.

RéférenceCe qu'il fixe
NIST AI RMFFonctions de mesure et de gestion
ISO/IEC 42001Système de management de l'IA
Exigences de conformité au règlement européen sur l'IAObligations for high-risk systems, applied in stages
Observatoire des incidents d'IA de l'OCDERecord of reported AI incidents
04Processus

Comment le processus se déroule.

Process explorer · Process

Ingénierie de l'évaluation et de l'assurance de l'IA : gestion des risques de l'IA (NIST)

9 steps5 stages1 gate

Processus

Ingénierie de l'évaluation et de l'assurance de l'IA : gestion des risques de l'IA (NIST)

Le AI RMF Core comprend quatre fonctions, GOVERN, MAP, MEASURE et MANAGE, GOVERN étant transversale ; l'ordre représenté est une lecture courante, non une liste de contrôle.

  1. 01 Gouverner

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP : contexte et usage prévuJeu de donnéesLa fonction MAP établit le contexte permettant de cadrer les risques liés à un système d'IA, y compris les finalités prévues et les impacts sur les personnes.
  3. 03 Mesurer

    1. 03MESURER : évaluer les caractéristiques de fiabilitéModèleAI systèmes d'IA sont évalués au regard de caractéristiques de fiabilité. Ils devraient être testés avant le déploiement, puis régulièrement en exploitation.
    2. 04MESURER : suivre les risques identifiés dans le tempsModèleDes mécanismes de suivi dans le temps des risques identifiés liés à l'IA sont en place, y compris les risques imprévus et émergents.
  4. 04 Gérer

    1. 05GÉRER : traiter les risquesÉtapeTraitement des risques couvrent la réponse aux incidents, le rétablissement après incident et la communication à leur sujet. Les ressources sont affectées aux risques cartographiés et mesurés.
    2. 06Poursuivre ou non (MANAGE 1.1)Jalon · Bureau technique du GCRIIl est déterminé si le système répond à ses finalités et à ses objectifs, et s'il convient de poursuivre. Le cadre ne fixe aucun seuil.
    3. 07Décision de déploiementDécision · bureau technique du GCRIL'organisation propriétaire du système décide de son déploiement et des conditions de celui-ci.
    4. 08Suivi après déploiement et incidentsModèleDes plans de suivi après déploiement sont mis en œuvre. Les incidents et les erreurs sont communiqués aux acteurs concernés de l'IA, y compris aux communautés touchées.
  5. 05 Consigner

    1. 09Inventaire des systèmes d'IAJeu de donnéesGOVERN 1.6 demande des mécanismes pour inventorier les systèmes d'IA. Une fiche de modèle est une pratique courante et n'est pas nommée dans le cadre.

Présentation neutre d'une norme ou d'une méthode externe publiée, telle qu'elle émane de son organisme émetteur. Ce n'est pas un enregistrement d'exploitation. Nexus n'exécute, ne certifie et n'approuve aucune des étapes présentées. Une porte ou une décision relève de la partie que désigne la source. Les actions ne forment pas nécessairement une suite ordonnée d'étapes. Le règlement européen sur l'IA n'est pas représenté dans ce flux.

05Dans les travaux sur le risque systémique

Evidence that an AI system is fit for its use.

Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.

  • Define the use context before evaluating.
  • Monitor after deployment; capability and use drift.
  • Record incidents and near misses.
  • Applications sur IA et systèmes autonomes.
07Intendance

Responsable de la mise à jour de cette page.

Intelligence artificielle et systèmes autonomes est garant de l'ingénierie de l'évaluation et de l'assurance de l'IA : il tient cette description à jour et examine la manière dont la méthode est appliquée sur l'ensemble des plateformes.

08Sources

Where this page’s references lead.

Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.

09Questions

Questions et réponses.

Pourquoi une seule institution héberge-t-elle toutes les pages de méthode ?
Le GCRI héberge les Communs STIM afin que chaque méthode dispose d'une description canonique unique. Les plateformes y renvoient au lieu de la répéter, ce qui préserve la cohérence des définitions.
Comment proposer une correction à une page de méthode ?
Écrire à le formulaire de signalement d'intégrité en indiquant le passage et le motif.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

GCRI
Le Global Centre for Risk and Innovation

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.