Skip to content

GCRI · Foundry

KI und maschinelles Lernen bei Foundry

Künstliche Intelligenz und maschinelles Lernen erweitern Erkennung, Klassifikation und Vorhersage über große Archive hinweg, und Agenten führen sie bis zur Handlung weiter. In diesem Feld ist die Methode zugleich eine Risikoquelle: Modelle, die versagen, wenn sich Bedingungen verschieben, Ergebnisse, die sicher klingen, obwohl sie es nicht sind, und Werkzeuge, die aus einem Fehler eine Wirkung machen.

02Antrag

Was künstliche Intelligenz und maschinelles Lernen hier leisten.

Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In data and compute and methods and modelling, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.

Erdbeobachtungsmodelle mit räumlicher Validierung

Modelle für Landbedeckung, Gebäude und Schäden werden auf räumlich getrennten Blöcken trainiert und getestet, sodass die berichtete Genauigkeit neue Orte widerspiegelt und nicht die Nachbarn der Trainingspixel.

Model cards and promotion records

Jede Modellversion enthält Verwendungszweck, Trainingsdaten, Bewertung nach Region und Untergruppe, bekannte Grenzen und Red-Team-Ergebnisse und wird nur nach einer dokumentierten Prüfung freigegeben.

Eingegrenzte Agenten mit Nachweisen

Agenten führen Analysen mit einem deklarierten Werkzeugsatz, Datenklassen, Budget und einem am Policy-Gate durchgesetzten Kill-Switch aus, und jede Aktion erzeugt einen Beleg für die Prüfenden.

03Monitoring

Modelltraining.

Die Ansicht, die ein Team nutzen würde, um diese Methode zu verfolgen: ihre Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.

Modelltraining

Foundry · KI und maschinelles Lernen bei Foundry · Lauf R-6794

Drift on one sliceGCRI · Foundry

Evaluation nach Teilmenge

Alle0.830.025712Bestanden
Region A0.740.051098Prüfung
Region B0.760.05458Prüfung
Seltene Klasse0.640.07160Unter dem Schwellenwert

Methodenkarte

Methode
Künstliche Intelligenz und maschinelles Lernen
Aufteilung
zeitbasiert, ohne Datenleck
Merkmale
22
Kennzeichnung
MODELLIERT

Stabilität der Population

Model training: the screen’s structure, terms and states for Foundry.Example names and illustrative values; a design, not a record or a live system.
04Daten

Was die Methode verwendet.

Datensätze und Aufzeichnungen, die künstliche Intelligenz und maschinelles Lernen auf dieser Plattform nutzen, mit der Rolle, die jeder spielt, und der Kennzeichnung, die seine Werte tragen. Die Quellen sind in dem Quellenregister.

DatenRolleKennzeichnung
Annotierte TrainingsdatensätzeÜberwachtes LernenBERICHTET
Archive von SatellitenbildernEingaben für die KlassifikationBEOBACHTET
Zurückgehaltene Testdatensätze und Testdatensätze außerhalb der VerteilungEvaluierungBEOBACHTET
Evaluierungs- und Red-Team-AufzeichnungenPromotion decisionsBERICHTET
Datenblätter für TrainingsdatenHerkunft, Einwilligung und LizenzDEKLARIERT
05Methoden und Evidenz

Wie KI und maschinelles Lernen bei Foundry modelliert, gemessen und getestet werden.

Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.

Modell, Gleichungen und Annahmen

Die Modellstruktur für KI und maschinelles Lernen bei Foundry, die dabei getroffenen Annahmen und wie jede davon getestet wird.

Risiko des Elements iRi = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und Bewältigungskapazität
Erwarteter jährlicher SchadenEAL = ∑k pk · Lkover events k with annual probability pk
Gekoppelte Systemext+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AnnahmeWarum es entstehtWie es geprüft wird
Gefahr und Exposition sind innerhalb eines Ereignisses unabhängigHält das Schadensintegral berechenbarMit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen
Kopplungen sind nahe dem Arbeitspunkt linearLässt Schocks sich über A ausbreitenÜber den linearen Bereich hinaus stören und vergleichen
Vulnerabilitätskurven lassen sich zwischen Orten übertragenLokale Kurven sind selten verfügbarAnhand beobachteter Schäden validieren, wo es sie gibt
Eingaben
versionierte Datensätze mit Herkunftsnachweis
Ergebnisse
Verteilungen, nie einzelne Zahlen
Code
mit Modellkarte und Tests veröffentlicht
Reproduktion
gleiche Daten, Code, Umgebung und Seed
Standardformulierungen für Risiko und Zustandsraum; die aufgeführten Annahmen sind für die Methode typisch und zur Prüfung benannt, keine Ergebnisse.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validierung

Wie Ergebnisse geprüft werden.

Modelle werden an zurückgehaltenen Daten evaluiert, die räumliche, zeitliche und Gruppenstrukturen berücksichtigen. Robustheit, Kalibrierung und Fairness werden neben der Genauigkeit getestet.

PrüfenWie es gemacht wird
Räumlicher und zeitlicher Hold-outTestdaten werden räumlich und zeitlich von den Trainingsdaten getrennt, um Datenlecks zu vermeiden
Probability calibrationVorhergesagte Wahrscheinlichkeiten werden mit beobachteten Häufigkeiten an zurückgehaltenen Daten verglichen
Drift monitoringVerteilungen der eingesetzten Ein- und Ausgaben werden mit denen bei der Validierung verglichen; Abweichungen lösen eine Überprüfung aus
Adversariales TestenModelle und Agenten werden vor der Freigabe auf Prompt-Injection und Missbrauch getestet

Die Leistung verschlechtert sich, wenn die Einsatzbedingungen von den Trainingsdaten abweichen. Modelle können Verzerrungen kodieren und bei seltenen Ereignissen ohne klare Warnung versagen.

07Verfahren

Wie der Prozess abläuft.

Process explorer · Process

KI und maschinelles Lernen bei Foundry: KI-Risikomanagement (NIST)

9 steps5 stages1 gate

Verfahren

KI und maschinelles Lernen bei Foundry: KI-Risikomanagement (NIST)

Der AI RMF Core hat vier Funktionen, GOVERN, MAP, MEASURE und MANAGE, wobei GOVERN übergreifend wirkt; die dargestellte Reihenfolge ist eine gängige Lesart, keine Checkliste.

  1. 01 Steuern

    1. 01GOVERN: Richtlinien, Rollen und VerantwortlichkeitSchritt · Sachwalter des ModellsGOVERN ist eine Querschnittsfunktion. Sie durchzieht das gesamte KI-Risikomanagement und ermöglicht die anderen Funktionen.
  2. 02 Map

    1. 02MAP: Kontext und beabsichtigte VerwendungDatensatzDie Funktion MAP schafft den Kontext, um Risiken im Zusammenhang mit einem KI-System einzuordnen, einschließlich der beabsichtigten Zwecke und der Auswirkungen auf Menschen.
  3. 03 Messen

    1. 03MEASURE: vertrauenswürdige Merkmale bewertenModellAI Systeme werden auf Merkmale der Vertrauenswürdigkeit hin bewertet. Sie sollten vor dem Einsatz und regelmäßig im Betrieb getestet werden.
    2. 04MEASURE: identifizierte Risiken im Zeitverlauf verfolgenModellEs bestehen Mechanismen, um erkannte KI-Risiken im Zeitverlauf zu verfolgen, einschließlich unvorhergesehener und neu entstehender Risiken.
  4. 04 Steuern

    1. 05STEUERN: Risiken behandelnSchrittRisikobehandlung umfassen Reaktion auf Vorfälle, Wiederherstellung nach Vorfällen und Kommunikation darüber. Ressourcen fließen in kartierte und gemessene Risiken.
    2. 06Fortfahren oder nicht (MANAGE 1.1)Gate · Modell-SachwalterEs wird festgestellt, ob das System seine Zwecke und Ziele erfüllt und ob fortgefahren werden soll. Das Rahmenwerk legt keine Schwellenwerte fest.
    3. 07EinsatzentscheidungEntscheidung · Modell-SachwalterDie Organisation, der das System gehört, entscheidet, ob und unter welchen Bedingungen es eingesetzt wird.
    4. 08Überwachung nach dem Einsatz und VorfälleModellPläne zur Überwachung nach dem Einsatz werden umgesetzt. Vorfälle und Fehler werden mit den relevanten KI-Akteuren geteilt, einschließlich betroffener Gemeinschaften.
  5. 05 Aufzeichnung

    1. 09Verzeichnis der KI-SystemeDatensatzGOVERN 1.6 verlangt Mechanismen zur Inventarisierung von KI-Systemen. Eine Modellkarte (Model Card) ist gängige Praxis und wird im Rahmenwerk nicht genannt.

Neutrale Übersicht über einen veröffentlichten externen Standard oder eine veröffentlichte Methode, wiedergegeben von der herausgebenden Stelle. Kein Betriebsnachweis. Nexus führt keinen der dargestellten Schritte durch, zertifiziert oder genehmigt ihn. Ein Gate oder eine Entscheidung liegt bei der Partei, die die Quelle nennt. Die Maßnahmen bilden nicht zwingend eine geordnete Abfolge von Schritten. Der EU AI Act ist in diesem Ablauf nicht abgebildet.

09Treuhänderschaft

Wer die Methode pflegt.

Künstliche Intelligenz und autonome Systeme ist Sachwalter von künstlicher Intelligenz und maschinellem Lernen für das Consortium und prüft, wie sie plattformübergreifend angewandt werden.

11Fragen

Fragen und Antworten.

Wo liegen die Grenzen von künstlicher Intelligenz und maschinellem Lernen in diesem Fachgebiet?
Die Leistung verschlechtert sich, wenn die Einsatzbedingungen von den Trainingsdaten abweichen. Modelle können Verzerrungen kodieren und bei seltenen Ereignissen ohne klare Warnung versagen.
Wie werden Ergebnisse geprüft?
Modelle werden an zurückgehaltenen Daten evaluiert, die räumliche, zeitliche und Gruppenstrukturen berücksichtigen. Robustheit, Kalibrierung und Fairness werden neben der Genauigkeit getestet.
Sind die Werte auf dieser Seite echt?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Wo wird diese Methode sonst angewandt?
Das kanonische Methodenseite listet jede Plattform auf, die sie anwendet.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

GCRIFoundryFoundry Build and Readiness
Foundry

Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.