Skip to content

GCRI · Labs

Apprentissage automatique en science de laboratoire

L'apprentissage automatique est à la fois un outil et un objet d'étude dans ce laboratoire. Il facilite le tri de la littérature, la conception expérimentale, l'analyse d'images et de séquences ainsi que la simulation, et il exige sa propre discipline d'évaluation : les fuites de données, glissement de distribution et les modes de défaillance opaques sont des risques de recherche à tester, et non à écarter par hypothèse.

02Candidature

Ce que fait ici l'intelligence artificielle et l'apprentissage automatique.

Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In research and evidence, methods and modelling and innovation, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.

Tri assisté pour les revues systématiques

Classifiers prioritise records for human screening; recall is measured against a fully screened sample, and the stopping rule is stated in the review protocol before screening starts.

Modèles de substitution pour guider les expériences

Models trained on simulations or past runs suggest which experiments to run next, using uncertainty to balance exploration and confirmation, and every suggestion is tested physically before it counts.

Analyse d'images et de signaux en laboratoire

Les modèles de segmentation et de classification sont validés par rapport à des annotations d'experts provenant d'autres sites et instruments, les cas d'échec étant catalogués et partagés avec le modèle.

03Suivi

Entraînement des modèles.

L'écran qu'une équipe utiliserait pour suivre cette méthode : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.

Entraînement des modèles

Labs · Machine learning in laboratory · Run R-4300

Drift on one sliceGCRI · Labs

Évaluation par tranche

Tout0.790.047294Réussite
Région A0.840.041004Examen
Région B0.790.12594Examen
Classe rare0.670.1467Sous le seuil

Fiche méthode

Méthode
Intelligence artificielle et apprentissage automatique
Répartition
chronologique, sans fuite
Caractéristiques
22
Étiquette
MODÉLISÉ

Stabilité de la population

Model training: the screen’s structure, terms and states for Labs.Example names and illustrative values; a design, not a record or a live system.
04Données

Ce que consomme la méthode.

Les jeux de données et registres utilisés par l'intelligence artificielle et l'apprentissage automatique sur cette plateforme, avec le rôle de chacun et l'étiquette que portent ses valeurs. Les sources sont listées dans le registre des sources.

DonnéesRôleÉtiquette
Jeux de données de référence annotésEntraînement et évaluationDÉCLARÉ
Laboratory instrument outputsDonnées d'entrée des modèles d'analyseOBSERVÉ
Archives de simulationsEntraînement de modèles de substitutionMODÉLISÉ
Fiches de modèles et de jeux de donnéesUsage prévu et limites connuesDÉCLARÉ
05Méthodes et preuves

Comment l'apprentissage automatique en science de laboratoire est modélisé, mesuré et testé.

Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.

Modèle, équations et hypothèses

The model structure used for machine learning in laboratory science, the assumptions it makes and how each is tested.

Risque de l'élément iRi = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire face
Perte annuelle attendueEAL = ∑k pk · Lkover events k with annual probability pk
Systèmes couplésxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
HypothèsePourquoi il est réaliséComment il est testé
Aléa et exposition sont indépendants au sein d'un événementGarde l'intégrale des pertes calculableComparer avec un ajustement de copule sur des relevés conjoints
Les couplages sont linéaires près du point de fonctionnementLaisse les chocs se propager à travers APerturber au-delà de la plage linéaire et comparer
Les courbes de vulnérabilité se transposent d'un lieu à l'autreLes courbes locales sont rarement disponiblesValider par rapport aux pertes observées lorsqu'elles existent
Entrées
jeux de données versionnés avec provenance
Productions
des distributions, jamais des nombres isolés
Code
publié avec la fiche de modèle et les tests
Reproduction
mêmes données, code, environnement et graine
Formulations standard du risque et de l'espace d'états ; les hypothèses énumérées sont typiques de la méthode, énoncées pour examen, et non des résultats.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validation

Comment les résultats sont vérifiés.

Les modèles sont évalués sur des données réservées qui respectent la structure spatiale, temporelle et par groupe. La robustesse, l'étalonnage et l'équité sont testés en plus de l'exactitude.

VérifierComment c'est fait
Audit des fuitesSplits are made by subject, site or time as the question requires, and preprocessing is fitted on training data only
Validation externePerformance is reported on data from a different source or period
Calibrage et robustesseProbabilities are checked for calibration, and performance under plausible perturbations is reported
Reporting checklistStudies are reported against REFORMS, TRIPOD+AI or the relevant domain checklist

La performance se dégrade lorsque les conditions de déploiement diffèrent des données d'entraînement. Les modèles peuvent encoder des biais et échouer sans avertissement clair sur des événements rares.

07Processus

Comment le processus se déroule.

Process explorer · Process

Apprentissage automatique en science de laboratoire : gestion des risques liés à l'IA (NIST)

9 steps5 stages1 gate

Processus

Apprentissage automatique en science de laboratoire : gestion des risques liés à l'IA (NIST)

Le AI RMF Core comprend quatre fonctions, GOVERN, MAP, MEASURE et MANAGE, GOVERN étant transversale ; l'ordre représenté est une lecture courante, non une liste de contrôle.

  1. 01 Gouverner

    1. 01GOVERN : politiques, rôles et responsabilitéÉtape · Chercheur principalGOVERN est une fonction transversale. Elle imprègne l'ensemble de la gestion des risques liés à l'IA et rend possibles les autres fonctions.
  2. 02 Map

    1. 02MAP : contexte et usage prévuJeu de donnéesLa fonction MAP établit le contexte permettant de cadrer les risques liés à un système d'IA, y compris les finalités prévues et les impacts sur les personnes.
  3. 03 Mesurer

    1. 03MESURER : évaluer les caractéristiques de fiabilitéModèleAI systèmes d'IA sont évalués au regard de caractéristiques de fiabilité. Ils devraient être testés avant le déploiement, puis régulièrement en exploitation.
    2. 04MESURER : suivre les risques identifiés dans le tempsModèleDes mécanismes de suivi dans le temps des risques identifiés liés à l'IA sont en place, y compris les risques imprévus et émergents.
  4. 04 Gérer

    1. 05GÉRER : traiter les risquesÉtapeTraitement des risques couvrent la réponse aux incidents, le rétablissement après incident et la communication à leur sujet. Les ressources sont affectées aux risques cartographiés et mesurés.
    2. 06Poursuivre ou non (MANAGE 1.1)Porte · Chercheur principalIl est déterminé si le système répond à ses finalités et à ses objectifs, et s'il convient de poursuivre. Le cadre ne fixe aucun seuil.
    3. 07Décision de déploiementDécision · Chercheur principalL'organisation propriétaire du système décide de son déploiement et des conditions de celui-ci.
    4. 08Suivi après déploiement et incidentsModèleDes plans de suivi après déploiement sont mis en œuvre. Les incidents et les erreurs sont communiqués aux acteurs concernés de l'IA, y compris aux communautés touchées.
  5. 05 Consigner

    1. 09Inventaire des systèmes d'IAJeu de donnéesGOVERN 1.6 demande des mécanismes pour inventorier les systèmes d'IA. Une fiche de modèle est une pratique courante et n'est pas nommée dans le cadre.

Présentation neutre d'une norme ou d'une méthode externe publiée, telle qu'elle émane de son organisme émetteur. Ce n'est pas un enregistrement d'exploitation. Nexus n'exécute, ne certifie et n'approuve aucune des étapes présentées. Une porte ou une décision relève de la partie que désigne la source. Les actions ne forment pas nécessairement une suite ordonnée d'étapes. Le règlement européen sur l'IA n'est pas représenté dans ce flux.

09Intendance

Qui tient à jour la méthode.

Intelligence artificielle et systèmes autonomes est le garant de l'intelligence artificielle et de l'apprentissage automatique pour le Consortium et examine la manière dont ils sont appliqués sur les différentes plateformes.

11Questions

Questions et réponses.

Quelles sont les limites de l'intelligence artificielle et de l'apprentissage automatique dans ce domaine ?
La performance se dégrade lorsque les conditions de déploiement diffèrent des données d'entraînement. Les modèles peuvent encoder des biais et échouer sans avertissement clair sur des événements rares.
Comment les résultats sont-ils vérifiés ?
Les modèles sont évalués sur des données réservées qui respectent la structure spatiale, temporelle et par groupe. La robustesse, l'étalonnage et l'équité sont testés en plus de l'exactitude.
Les valeurs de cette page sont-elles réelles ?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Où d'autre cette méthode est-elle appliquée ?
Le page canonique de la méthode liste toutes les plateformes qui l'appliquent.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

GCRILaboratoiresPreuves des LabsMéthodes et technique
Laboratoires

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.