Skip to content

GCRI · Intelligence artificielle et systèmes autonomes

Évaluation et assurance de l'IA

L'ingénierie de l'évaluation et de l'assurance de l'IA est la deuxième méthode dont cette plateforme est garante. Elle fournit les données probantes attestant qu'un système d'IA est adapté à un usage déclaré : évaluations, tests d'intrusion adverses (red teaming), documentation, suivi et argumentaires structurés qui les relient.

01Registre

L'évaluation et l'assurance de l'IA, documentées.

Fiche de la méthodeMéthode STIM
  1. MéthodeIngénierie de l'évaluation et de l'assurance de l'IA
  2. GarantStudio Intelligence artificielle et systèmes
  3. Appliqué dansIntelligence artificielle et systèmes autonomes
  4. Données4 entrées
  5. Page canoniqueCommons STIM
02Candidature

Ce que fait ici l'ingénierie de l'évaluation et de l'assurance de l'IA.

L'ingénierie de l'évaluation et de l'assurance de l'IA met au point des méthodes pour tester et surveiller les systèmesd'IA et pour fonder une confiance justifiée à leur égard. Elle porte sur la performance, la robustesse, la sûreté et l'impact sociétal tout au long du cycle de vie du système. Dans l'intelligence artificielle, les données et le calcul, l'assurance de l'IA détermine si des systèmes automatisés peuvent être jugés fiables dans des contextes à fortes conséquences. Elle aide à gérer les risques lorsque l'IA est intégrée dans la finance, la santé et les infrastructures. La description de référence figure sur les STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Exercices structurés de red teaming

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

Suivi après déploiement

Les incidents, les réclamations et les indicateurs de performance sont suivis après la mise en service, et les déclencheurs d'un réexamen ou d'un retour arrière sont définis à l'avance.

03Suivi

Suite d'évaluation.

L'écran qu'une équipe utiliserait pour suivre cette méthode : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.

Evaluation suite

AI and autonomous systems · AI evaluation and assurance · Run R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

Evaluation suites

Capacités58589VersionRéussite
Robustesse13372VersionRéussite
Bias and fairness16981VersionRéussite
Misuse red team14279DéployerConstats ouverts

Fiche méthode

Méthode
Ingénierie de l'évaluation et de l'assurance de l'IA
Modèle
M-196 v1
Propriétaire
fonction de risque de modèle
Étiquette
MODÉLISÉ

Constats

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Précision moindre pour les dialectes minoritairesAugmentation des données9 j
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04Données

Ce que consomme la méthode.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

DonnéesRôleÉtiquette
Résultats d'évaluationEvidence for claimsOBSERVÉ
Rapports d'équipe rougeDétection des défaillancesDÉCLARÉ
Journaux d'incidentsDonnées de terrainDÉCLARÉ
Documentation du systèmePérimètre et hypothèsesDÉCLARÉ
05Méthodes et preuves

How AI evaluation and assurance is modelled, measured and tested.

Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.

Modèle, équations et hypothèses

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

Risque de l'élément iRi = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire face
Perte annuelle attendueEAL = ∑k pk · Lkover events k with annual probability pk
Systèmes couplésxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
HypothèsePourquoi il est réaliséComment il est testé
Aléa et exposition sont indépendants au sein d'un événementGarde l'intégrale des pertes calculableComparer avec un ajustement de copule sur des relevés conjoints
Les couplages sont linéaires près du point de fonctionnementLaisse les chocs se propager à travers APerturber au-delà de la plage linéaire et comparer
Les courbes de vulnérabilité se transposent d'un lieu à l'autreLes courbes locales sont rarement disponiblesValider par rapport aux pertes observées lorsqu'elles existent
Entrées
jeux de données versionnés avec provenance
Productions
des distributions, jamais des nombres isolés
Code
publié avec la fiche de modèle et les tests
Reproduction
mêmes données, code, environnement et graine
Formulations standard du risque et de l'espace d'états ; les hypothèses énumérées sont typiques de la méthode, énoncées pour examen, et non des résultats.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validation

Comment les résultats sont vérifiés.

Les méthodes d'évaluation sont vérifiées quant à leur fiabilité et à leur pertinence au regard des conditions de déploiement. La réplication indépendante et les audits par des tiers mettent les affirmations à l'épreuve.

VérifierComment c'est fait
Examen indépendantLes dossiers d'assurance sont examinés par des personnes non impliquées dans le développement
Evidence currencyLes données probantes sont revérifiées après toute modification du modèle ou du déploiement
Déclaration de la couvertureLes évaluations indiquent ce qu'elles n'ont pas testé

Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

07Processus

Comment le processus se déroule.

Process explorer · Process

Évaluation et assurance de l'IA : gestion des risques de l'IA (NIST)

9 steps5 stages1 gate

Processus

Évaluation et assurance de l'IA : gestion des risques de l'IA (NIST)

Le AI RMF Core comprend quatre fonctions, GOVERN, MAP, MEASURE et MANAGE, GOVERN étant transversale ; l'ordre représenté est une lecture courante, non une liste de contrôle.

  1. 01 Gouverner

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP : contexte et usage prévuJeu de donnéesLa fonction MAP établit le contexte permettant de cadrer les risques liés à un système d'IA, y compris les finalités prévues et les impacts sur les personnes.
  3. 03 Mesurer

    1. 03MESURER : évaluer les caractéristiques de fiabilitéModèleAI systèmes d'IA sont évalués au regard de caractéristiques de fiabilité. Ils devraient être testés avant le déploiement, puis régulièrement en exploitation.
    2. 04MESURER : suivre les risques identifiés dans le tempsModèleDes mécanismes de suivi dans le temps des risques identifiés liés à l'IA sont en place, y compris les risques imprévus et émergents.
  4. 04 Gérer

    1. 05GÉRER : traiter les risquesÉtapeTraitement des risques couvrent la réponse aux incidents, le rétablissement après incident et la communication à leur sujet. Les ressources sont affectées aux risques cartographiés et mesurés.
    2. 06Poursuivre ou non (MANAGE 1.1)Porte · Comité des risques liés à l'IAIl est déterminé si le système répond à ses finalités et à ses objectifs, et s'il convient de poursuivre. Le cadre ne fixe aucun seuil.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08Suivi après déploiement et incidentsModèleDes plans de suivi après déploiement sont mis en œuvre. Les incidents et les erreurs sont communiqués aux acteurs concernés de l'IA, y compris aux communautés touchées.
  5. 05 Consigner

    1. 09Inventaire des systèmes d'IAJeu de donnéesGOVERN 1.6 demande des mécanismes pour inventorier les systèmes d'IA. Une fiche de modèle est une pratique courante et n'est pas nommée dans le cadre.

Présentation neutre d'une norme ou d'une méthode externe publiée, telle qu'elle émane de son organisme émetteur. Ce n'est pas un enregistrement d'exploitation. Nexus n'exécute, ne certifie et n'approuve aucune des étapes présentées. Une porte ou une décision relève de la partie que désigne la source. Les actions ne forment pas nécessairement une suite ordonnée d'étapes. Le règlement européen sur l'IA n'est pas représenté dans ce flux.

09Intendance

Qui tient à jour la méthode.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10Questions

Questions et réponses.

Quelles sont les limites de l'évaluation de l'IA et de l'ingénierie de l'assurance dans ce domaine ?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Comment les résultats sont-ils vérifiés ?
Les méthodes d'évaluation sont vérifiées quant à leur fiabilité et à leur pertinence au regard des conditions de déploiement. La réplication indépendante et les audits par des tiers mettent les affirmations à l'épreuve.
Les valeurs de cette page sont-elles réelles ?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Où d'autre cette méthode est-elle appliquée ?
Le page canonique de la méthode liste toutes les plateformes qui l'appliquent.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

GCRIIntelligence artificielle et systèmes autonomesTechnologies exponentiellesPreuves des Labs
Intelligence artificielle et systèmes autonomes

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.