Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · Künstliche Intelligenz und autonome Systeme
Verhalten maschinellen Lernens
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
01Registrieren
Machine learning behaviour on the record.
MethodennachweisMINT-Methode
- MethodeKünstliche Intelligenz und maschinelles Lernen
- SachwalterStudio Künstliche Intelligenz und autonome System
- Angewandt inKünstliche Intelligenz und autonome Systeme
- Daten3 inputs
- Prüfungen3 Validierungsschritte
- Kanonische SeiteMINT-Commons
02Antrag
Was künstliche Intelligenz und maschinelles Lernen hier leisten.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected Systeme. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on die STEM Commons.
Fine-tuning for a specific use
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Interpretability methods
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
03Simulator
Ein Schwellenmodell kollektiven Verhaltens.
Jeder Agent handelt, sobald genügend seiner Kontakte es getan haben; kleine Änderungen der mittleren Schwelle oder der ersten Akteure entscheiden, ob das Verhalten lokal bleibt oder sich kaskadenartig durch die Bevölkerung ausbreitet. Lehrmodell mit angegebenen illustrativen Werten, keine Vorhersage.
Steuerung
- Mittlere Schwelle (Anteil der Nachbarn)
- 18%
- Streuung der Schwellenwerte
- 8 Punkte
- Frühe Akteure
- 2,0 % der Menschen
- Kontakte pro Person
- 8
Messwerte
- Anteil derer, die am Ende gehandelt haben
- 100%
- Globale Kaskade
- Ja
- Schritte bis zur Abwicklung
- 10
Zahlen, Methoden und Quellen
| Schritt | Anteil derer, die gehandelt haben (%) |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
Methoden
- Schwellenmodelle kollektiven Verhaltens Granovetter (1978), American Journal of Sociology 83
- Globale Kaskaden auf Zufallsnetzen Watts (2002), PNAS 99
- Komplexe Ansteckungen Centola and Macy (2007), American Journal of Sociology 113
- Sensitivität mit jeweils einem Faktor (Tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Daten
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
Über die sechs Säulen, unter Leitung von Nexus Consortium
- Experimente Labore
- Erstellt in Künstliche Intelligenz und autonome Systeme in Foundry
- Getestet am Künstliche Intelligenz und autonome Systeme in Universe
- Kodifiziert in Digitales, Cyber und KI in Standards
- Veröffentlicht in Künstliche Intelligenz und autonome Systeme in Reports
- Gelehrt in Fakultät für Technologie und digitale Systeme in der Akademie
04Daten
Was die Methode verwendet.
Datensätze und Aufzeichnungen, die künstliche Intelligenz und maschinelles Lernen auf dieser Plattform nutzen, mit der Rolle, die jeder spielt, und der Kennzeichnung, die seine Werte tragen. Die Quellen sind in dem Quellenregister.
| Daten | Rolle | Kennzeichnung |
|---|---|---|
| Training and validation datasets with documentation | Model development | DEKLARIERT |
| Deployment input logs | Shift detection | BEOBACHTET |
| Benchmark suites | Comparison | BERICHTET |
05Methoden und Evidenz
How machine learning behaviour is modelled, measured and tested.
Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.
Modell, Gleichungen und Annahmen
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
Risiko des Elements i
Ri = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und BewältigungskapazitätErwarteter jährlicher Schaden
EAL = ∑k pk · Lküber Ereignisse k mit jährlicher Wahrscheinlichkeit pkGekoppelte Systeme
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Annahme | Warum es entsteht | Wie es geprüft wird |
|---|---|---|
| Gefahr und Exposition sind innerhalb eines Ereignisses unabhängig | Hält das Schadensintegral berechenbar | Mit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen |
| Kopplungen sind nahe dem Arbeitspunkt linear | Lässt Schocks sich über A ausbreiten | Über den linearen Bereich hinaus stören und vergleichen |
| Vulnerabilitätskurven lassen sich zwischen Orten übertragen | Lokale Kurven sind selten verfügbar | Anhand beobachteter Schäden validieren, wo es sie gibt |
- Eingaben
- versionierte Datensätze mit Herkunftsnachweis
- Ergebnisse
- Verteilungen, nie einzelne Zahlen
- Code
- mit Modellkarte und Tests veröffentlicht
- Reproduktion
- gleiche Daten, Code, Umgebung und Seed
FAIR-Leitprinzipien · GO FAIR und FORCE11W3C PROV · World Wide Web ConsortiumHinweise zur einheitlichen Behandlung von Unsicherheiten · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validierung
Wie Ergebnisse geprüft werden.
Modelle werden an zurückgehaltenen Daten evaluiert, die räumliche, zeitliche und Gruppenstrukturen berücksichtigen. Robustheit, Kalibrierung und Fairness werden neben der Genauigkeit getestet.
| Prüfen | Wie es gemacht wird |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
Die Leistung verschlechtert sich, wenn die Einsatzbedingungen von den Trainingsdaten abweichen. Modelle können Verzerrungen kodieren und bei seltenen Ereignissen ohne klare Warnung versagen.
07Verbindungen
Themen, die sich auf diese Methode stützen.
08Treuhänderschaft
Wer die Methode pflegt.
Studio Künstliche Intelligenz und autonome System ist Sachwalter von künstlicher Intelligenz und maschinellem Lernen für das Consortium und prüft, wie sie plattformübergreifend angewandt werden.
09Fragen
Fragen und Antworten.
Wo liegen die Grenzen von künstlicher Intelligenz und maschinellem Lernen in diesem Fachgebiet?
Die Leistung verschlechtert sich, wenn die Einsatzbedingungen von den Trainingsdaten abweichen. Modelle können Verzerrungen kodieren und bei seltenen Ereignissen ohne klare Warnung versagen.
Wie werden Ergebnisse geprüft?
Modelle werden an zurückgehaltenen Daten evaluiert, die räumliche, zeitliche und Gruppenstrukturen berücksichtigen. Robustheit, Kalibrierung und Fairness werden neben der Genauigkeit getestet.
Sind die Werte auf dieser Seite echt?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Wo wird diese Methode sonst angewandt?
Das kanonische Methodenseite listet jede Plattform auf, die sie anwendet.
BerichteBeitragen
Evidenz von dieser Seite aus beitragen.
Berichte is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIKünstliche Intelligenz und autonome SystemeExponentielle TechnologieLabs-Evidenz
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOffene HinterlegungHinterlegen und bei der Community einreichenVeröffentlichen Sie Ihren eigenen Eintrag auf Zenodo mit Ihrer ORCID iD und reichen Sie ihn dort bei der Reports-Community ein. Kuratorinnen und Kuratoren prüfen ihn; der DOI bleibt bei Ihnen.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Künstliche Intelligenz und autonome Systeme
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliches
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.