GCRI · Ingénierie
Ingénierie de l'évaluation et de l'assurance de l'IA
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
Ingénierie de l'évaluation et de l'assurance de l'IA en six parties.
- 01The methodWhat aI evaluation and assurance engineering covers
- 02Pratiques de référencementL'assurance de l'IA s'appuie sur des cadres de risque, des systèmes de management et des pratiques d'évaluation
- 03Dans les travaux sur le risque systémiqueDonnées probantes attestant qu'un système d'IA est adapté à son usage
- 04Appliqué dansPlateformes qui appliquent cette méthode
- 05IntendanceResponsable de la mise à jour de cette page
- 06SourcesWhere this page’s references lead
Ce que couvrent l'évaluation de l'IA et l'ingénierie de l'assurance.
- 01
Méthodes de base
capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.
- 02
Données et instruments
référentiels d'évaluation ; rapports d'incident ; documentation des modèles ; journaux de déploiement ; relevés de retours humains.
- 03
Validation
Les méthodes d'évaluation sont vérifiées quant à leur fiabilité et à leur pertinence au regard des conditions de déploiement. La réplication indépendante et les audits par des tiers mettent les affirmations à l'épreuve.
- 04
Limites
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
- 05
Utilisation dans les décisions relatives aux risques
L'assurance de l'IA détermine si des systèmes automatisés peuvent être jugés dignes de confiance dans des contextes à fortes conséquences. Elle aide à gérer les risques lorsque l'IA est intégrée dans la finance, la santé et les infrastructures.
L'assurance de l'IA s'appuie sur des cadres de risque, des systèmes de management et des pratiques d'évaluation.
| Référence | Ce qu'il fixe |
|---|---|
| NIST AI RMF | Fonctions de mesure et de gestion |
| ISO/IEC 42001 | Système de management de l'IA |
| Exigences de conformité au règlement européen sur l'IA | Obligations for high-risk systems, applied in stages |
| Observatoire des incidents d'IA de l'OCDE | Record of reported AI incidents |
Comment le processus se déroule.
Process explorer · Process
Ingénierie de l'évaluation et de l'assurance de l'IA : gestion des risques de l'IA (NIST)
9 steps·5 stages·1 gate
Processus
Ingénierie de l'évaluation et de l'assurance de l'IA : gestion des risques de l'IA (NIST)
Le AI RMF Core comprend quatre fonctions, GOVERN, MAP, MEASURE et MANAGE, GOVERN étant transversale ; l'ordre représenté est une lecture courante, non une liste de contrôle.
01 Gouverner
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP : contexte et usage prévuJeu de donnéesLa fonction MAP établit le contexte permettant de cadrer les risques liés à un système d'IA, y compris les finalités prévues et les impacts sur les personnes.
03 Mesurer
- 03MESURER : évaluer les caractéristiques de fiabilitéModèleAI systèmes d'IA sont évalués au regard de caractéristiques de fiabilité. Ils devraient être testés avant le déploiement, puis régulièrement en exploitation.
- 04MESURER : suivre les risques identifiés dans le tempsModèleDes mécanismes de suivi dans le temps des risques identifiés liés à l'IA sont en place, y compris les risques imprévus et émergents.
04 Gérer
- 05GÉRER : traiter les risquesÉtapeTraitement des risques couvrent la réponse aux incidents, le rétablissement après incident et la communication à leur sujet. Les ressources sont affectées aux risques cartographiés et mesurés.
- 06Poursuivre ou non (MANAGE 1.1)Jalon · Bureau technique du GCRIIl est déterminé si le système répond à ses finalités et à ses objectifs, et s'il convient de poursuivre. Le cadre ne fixe aucun seuil.
- 07Décision de déploiementDécision · bureau technique du GCRIL'organisation propriétaire du système décide de son déploiement et des conditions de celui-ci.
- 08Suivi après déploiement et incidentsModèleDes plans de suivi après déploiement sont mis en œuvre. Les incidents et les erreurs sont communiqués aux acteurs concernés de l'IA, y compris aux communautés touchées.
05 Consigner
- 09Inventaire des systèmes d'IAJeu de donnéesGOVERN 1.6 demande des mécanismes pour inventorier les systèmes d'IA. Une fiche de modèle est une pratique courante et n'est pas nommée dans le cadre.
Présentation neutre d'une norme ou d'une méthode externe publiée, telle qu'elle émane de son organisme émetteur. Ce n'est pas un enregistrement d'exploitation. Nexus n'exécute, ne certifie et n'approuve aucune des étapes présentées. Une porte ou une décision relève de la partie que désigne la source. Les actions ne forment pas nécessairement une suite ordonnée d'étapes. Le règlement européen sur l'IA n'est pas représenté dans ce flux.
Evidence that an AI system is fit for its use.
Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.
- Define the use context before evaluating.
- Monitor after deployment; capability and use drift.
- Record incidents and near misses.
- Applications sur IA et systèmes autonomes.
Plateformes qui appliquent cette méthode.
Responsable de la mise à jour de cette page.
Intelligence artificielle et systèmes autonomes est garant de l'ingénierie de l'évaluation et de l'assurance de l'IA : il tient cette description à jour et examine la manière dont la méthode est appliquée sur l'ensemble des plateformes.
Where this page’s references lead.
Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.
Questions et réponses.
Pourquoi une seule institution héberge-t-elle toutes les pages de méthode ?
Comment proposer une correction à une page de méthode ?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.