Skip to content

GCRI · Labs

Maschinelles Lernen in der Laborwissenschaft

Maschinelles Lernen ist in diesem Labor zugleich Werkzeug und Forschungsgegenstand. Es unterstützt die Literatursichtung, die Versuchsplanung, die Bild- und Sequenzanalyse sowie die Simulation und erfordert eine eigene Evaluierungsdisziplin: Datenleckagen, Verteilungsverschiebung und undurchsichtige Fehlermodi sind Forschungsrisiken, die zu prüfen sind und nicht als ausgeschlossen vorausgesetzt werden dürfen.

02Antrag

Was künstliche Intelligenz und maschinelles Lernen hier leisten.

Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In research and evidence, methods and modelling and innovation, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.

Unterstütztes Screening für systematische Übersichtsarbeiten

Klassifikatoren priorisieren Datensätze für die manuelle Sichtung; der Recall wird an einer vollständig gesichteten Stichprobe gemessen, und die Abbruchregel wird vor Beginn der Sichtung im Review-Protokoll festgelegt.

Surrogatmodelle zur Steuerung von Experimenten

Modelle, die auf Simulationen oder früheren Läufen trainiert wurden, schlagen vor, welche Experimente als Nächstes durchzuführen sind, und nutzen die Unsicherheit, um Exploration und Bestätigung auszubalancieren; jeder Vorschlag wird physisch getestet, bevor er zählt.

Bild- und Signalanalyse im Labor

Segmentierungs- und Klassifikationsmodelle werden anhand von Expertenannotationen anderer Standorte und Instrumente validiert; Fehlerfälle werden katalogisiert und zusammen mit dem Modell bereitgestellt.

03Monitoring

Modelltraining.

Die Ansicht, die ein Team nutzen würde, um diese Methode zu verfolgen: ihre Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.

Modelltraining

Labs · Maschinelles Lernen im Labor · Lauf R-4300

Drift on one sliceGCRI · Labs

Evaluation nach Teilmenge

Alle0.790.047294Bestanden
Region A0.840.041004Prüfung
Region B0.790.12594Prüfung
Seltene Klasse0.670.1467Unter dem Schwellenwert

Methodenkarte

Methode
Künstliche Intelligenz und maschinelles Lernen
Aufteilung
zeitbasiert, ohne Datenleck
Merkmale
22
Kennzeichnung
MODELLIERT

Stabilität der Population

Model training: the screen’s structure, terms and states for Labs.Example names and illustrative values; a design, not a record or a live system.
04Daten

Was die Methode verwendet.

Datensätze und Aufzeichnungen, die künstliche Intelligenz und maschinelles Lernen auf dieser Plattform nutzen, mit der Rolle, die jeder spielt, und der Kennzeichnung, die seine Werte tragen. Die Quellen sind in dem Quellenregister.

DatenRolleKennzeichnung
Annotierte Benchmark-DatensätzeTraining und EvaluierungBERICHTET
Laboratory instrument outputsEingaben für AnalysemodelleBEOBACHTET
SimulationsarchiveTraining von SurrogatmodellenMODELLIERT
Modell- und DatensatzkartenVerwendungszweck und bekannte GrenzenDEKLARIERT
05Methoden und Evidenz

Wie maschinelles Lernen in der Laborwissenschaft modelliert, gemessen und getestet wird.

Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.

Modell, Gleichungen und Annahmen

Die Modellstruktur, die für maschinelles Lernen in der Laborwissenschaft verwendet wird, die dabei getroffenen Annahmen und wie jede davon geprüft wird.

Risiko des Elements iRi = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und Bewältigungskapazität
Erwarteter jährlicher SchadenEAL = ∑k pk · Lkover events k with annual probability pk
Gekoppelte Systemext+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AnnahmeWarum es entstehtWie es geprüft wird
Gefahr und Exposition sind innerhalb eines Ereignisses unabhängigHält das Schadensintegral berechenbarMit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen
Kopplungen sind nahe dem Arbeitspunkt linearLässt Schocks sich über A ausbreitenÜber den linearen Bereich hinaus stören und vergleichen
Vulnerabilitätskurven lassen sich zwischen Orten übertragenLokale Kurven sind selten verfügbarAnhand beobachteter Schäden validieren, wo es sie gibt
Eingaben
versionierte Datensätze mit Herkunftsnachweis
Ergebnisse
Verteilungen, nie einzelne Zahlen
Code
mit Modellkarte und Tests veröffentlicht
Reproduktion
gleiche Daten, Code, Umgebung und Seed
Standardformulierungen für Risiko und Zustandsraum; die aufgeführten Annahmen sind für die Methode typisch und zur Prüfung benannt, keine Ergebnisse.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validierung

Wie Ergebnisse geprüft werden.

Modelle werden an zurückgehaltenen Daten evaluiert, die räumliche, zeitliche und Gruppenstrukturen berücksichtigen. Robustheit, Kalibrierung und Fairness werden neben der Genauigkeit getestet.

PrüfenWie es gemacht wird
Prüfung auf DatenabflussDie Aufteilungen erfolgen je nach Fragestellung nach Subjekt, Standort oder Zeit, und die Vorverarbeitung wird nur auf den Trainingsdaten angepasst
Externe ValidierungPerformance is reported on data from a different source or period
Kalibrierung und RobustheitWahrscheinlichkeiten werden auf Kalibrierung geprüft, und die Leistung unter plausiblen Störungen wird berichtet
Checkliste für die BerichterstattungStudies are reported against REFORMS, TRIPOD+AI or the relevant domain checklist

Die Leistung verschlechtert sich, wenn die Einsatzbedingungen von den Trainingsdaten abweichen. Modelle können Verzerrungen kodieren und bei seltenen Ereignissen ohne klare Warnung versagen.

07Verfahren

Wie der Prozess abläuft.

Process explorer · Process

Maschinelles Lernen in der Laborwissenschaft: KI-Risikomanagement (NIST)

9 steps5 stages1 gate

Verfahren

Maschinelles Lernen in der Laborwissenschaft: KI-Risikomanagement (NIST)

Der AI RMF Core hat vier Funktionen, GOVERN, MAP, MEASURE und MANAGE, wobei GOVERN übergreifend wirkt; die dargestellte Reihenfolge ist eine gängige Lesart, keine Checkliste.

  1. 01 Steuern

    1. 01GOVERN: Richtlinien, Rollen und VerantwortlichkeitSchritt · ProjektleitungGOVERN ist eine Querschnittsfunktion. Sie durchzieht das gesamte KI-Risikomanagement und ermöglicht die anderen Funktionen.
  2. 02 Map

    1. 02MAP: Kontext und beabsichtigte VerwendungDatensatzDie Funktion MAP schafft den Kontext, um Risiken im Zusammenhang mit einem KI-System einzuordnen, einschließlich der beabsichtigten Zwecke und der Auswirkungen auf Menschen.
  3. 03 Messen

    1. 03MEASURE: vertrauenswürdige Merkmale bewertenModellAI Systeme werden auf Merkmale der Vertrauenswürdigkeit hin bewertet. Sie sollten vor dem Einsatz und regelmäßig im Betrieb getestet werden.
    2. 04MEASURE: identifizierte Risiken im Zeitverlauf verfolgenModellEs bestehen Mechanismen, um erkannte KI-Risiken im Zeitverlauf zu verfolgen, einschließlich unvorhergesehener und neu entstehender Risiken.
  4. 04 Steuern

    1. 05STEUERN: Risiken behandelnSchrittRisikobehandlung umfassen Reaktion auf Vorfälle, Wiederherstellung nach Vorfällen und Kommunikation darüber. Ressourcen fließen in kartierte und gemessene Risiken.
    2. 06Fortfahren oder nicht (MANAGE 1.1)Gate · HauptforschendeEs wird festgestellt, ob das System seine Zwecke und Ziele erfüllt und ob fortgefahren werden soll. Das Rahmenwerk legt keine Schwellenwerte fest.
    3. 07EinsatzentscheidungEntscheidung · HauptprüferDie Organisation, der das System gehört, entscheidet, ob und unter welchen Bedingungen es eingesetzt wird.
    4. 08Überwachung nach dem Einsatz und VorfälleModellPläne zur Überwachung nach dem Einsatz werden umgesetzt. Vorfälle und Fehler werden mit den relevanten KI-Akteuren geteilt, einschließlich betroffener Gemeinschaften.
  5. 05 Aufzeichnung

    1. 09Verzeichnis der KI-SystemeDatensatzGOVERN 1.6 verlangt Mechanismen zur Inventarisierung von KI-Systemen. Eine Modellkarte (Model Card) ist gängige Praxis und wird im Rahmenwerk nicht genannt.

Neutrale Übersicht über einen veröffentlichten externen Standard oder eine veröffentlichte Methode, wiedergegeben von der herausgebenden Stelle. Kein Betriebsnachweis. Nexus führt keinen der dargestellten Schritte durch, zertifiziert oder genehmigt ihn. Ein Gate oder eine Entscheidung liegt bei der Partei, die die Quelle nennt. Die Maßnahmen bilden nicht zwingend eine geordnete Abfolge von Schritten. Der EU AI Act ist in diesem Ablauf nicht abgebildet.

09Treuhänderschaft

Wer die Methode pflegt.

Künstliche Intelligenz und autonome Systeme ist Sachwalter von künstlicher Intelligenz und maschinellem Lernen für das Consortium und prüft, wie sie plattformübergreifend angewandt werden.

11Fragen

Fragen und Antworten.

Wo liegen die Grenzen von künstlicher Intelligenz und maschinellem Lernen in diesem Fachgebiet?
Die Leistung verschlechtert sich, wenn die Einsatzbedingungen von den Trainingsdaten abweichen. Modelle können Verzerrungen kodieren und bei seltenen Ereignissen ohne klare Warnung versagen.
Wie werden Ergebnisse geprüft?
Modelle werden an zurückgehaltenen Daten evaluiert, die räumliche, zeitliche und Gruppenstrukturen berücksichtigen. Robustheit, Kalibrierung und Fairness werden neben der Genauigkeit getestet.
Sind die Werte auf dieser Seite echt?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Wo wird diese Methode sonst angewandt?
Das kanonische Methodenseite listet jede Plattform auf, die sie anwendet.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

GCRILaboreLabs-EvidenzMethoden und Technik
Labore

Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.