Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · Intelligence artificielle et systèmes autonomes
Comportement de l'apprentissage automatique
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
01Registre
Machine learning behaviour on the record.
Fiche de la méthodeMéthode STIM
- MéthodeIntelligence artificielle et apprentissage automatique
- GarantStudio Intelligence artificielle et systèmes
- Appliqué dansIntelligence artificielle et systèmes autonomes
- Données3 inputs
- Vérifications3 étapes de validation
- Page canoniqueCommons STIM
02Candidature
Ce que fait ici l'intelligence artificielle et l'apprentissage automatique.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected systèmes. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on les STEM Commons.
Fine-tuning for a specific use
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Interpretability methods
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
03Simulateur
Un modèle à seuil du comportement collectif.
Chaque agent agit dès qu'assez de ses contacts l'ont fait ; de petits changements du seuil moyen ou des premiers à agir décident si le comportement reste local ou se propage en cascade dans la population. Modèle pédagogique à valeurs illustratives déclarées, pas une prédiction.
Commandes
- Seuil moyen (part des voisins)
- 18%
- Dispersion des seuils
- 8 points
- Premiers à agir
- 2,0 % des personnes
- Contacts par personne
- 8
Relevés
- Part de ceux qui ont fini par agir
- 100%
- Cascade mondiale
- Oui
- Étapes jusqu'au règlement
- 10
Chiffres, méthodes et sources
| Étape | Part des personnes ayant agi (%) |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
Méthodes
- Modèles à seuil du comportement collectif Granovetter (1978), American Journal of Sociology 83
- Cascades globales sur des réseaux aléatoires Watts (2002), PNAS 99
- Contagions complexes Centola and Macy (2007), American Journal of Sociology 113
- Sensibilité un facteur à la fois (tornade) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Données
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
Sur les six piliers, sous la conduite de Nexus Consortium
- Expériences Laboratoires
- Intégré Intelligence artificielle et systèmes autonomes dans Foundry
- Testé à Intelligence artificielle et systèmes autonomes dans Universe
- Codifié dans Numérique, cyber et IA dans Standards
- Publié dans Intelligence artificielle et systèmes autonomes dans Reports
- Enseigné dans Faculté de technologie et de systèmes numériques dans Academy
04Données
Ce que consomme la méthode.
Les jeux de données et registres utilisés par l'intelligence artificielle et l'apprentissage automatique sur cette plateforme, avec le rôle de chacun et l'étiquette que portent ses valeurs. Les sources sont listées dans le registre des sources.
| Données | Rôle | Étiquette |
|---|---|---|
| Training and validation datasets with documentation | Model development | DÉCLARÉ |
| Deployment input logs | Shift detection | OBSERVÉ |
| Benchmark suites | Comparison | DÉCLARÉ |
05Méthodes et preuves
How machine learning behaviour is modelled, measured and tested.
Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.
Modèle, équations et hypothèses
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
Risque de l'élément i
Ri = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire facePerte annuelle attendue
EAL = ∑k pk · Lksur les événements k de probabilité annuelle pkSystèmes couplés
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Hypothèse | Pourquoi il est réalisé | Comment il est testé |
|---|---|---|
| Aléa et exposition sont indépendants au sein d'un événement | Garde l'intégrale des pertes calculable | Comparer avec un ajustement de copule sur des relevés conjoints |
| Les couplages sont linéaires près du point de fonctionnement | Laisse les chocs se propager à travers A | Perturber au-delà de la plage linéaire et comparer |
| Les courbes de vulnérabilité se transposent d'un lieu à l'autre | Les courbes locales sont rarement disponibles | Valider par rapport aux pertes observées lorsqu'elles existent |
- Entrées
- jeux de données versionnés avec provenance
- Productions
- des distributions, jamais des nombres isolés
- Code
- publié avec la fiche de modèle et les tests
- Reproduction
- mêmes données, code, environnement et graine
Principes directeurs FAIR · GO FAIR et FORCE11W3C PROV · World Wide Web ConsortiumOrientations sur le traitement cohérent des incertitudes · GIECCEOS Analysis Ready Data · Comité sur les satellites d'observation de la Terre
06Validation
Comment les résultats sont vérifiés.
Les modèles sont évalués sur des données réservées qui respectent la structure spatiale, temporelle et par groupe. La robustesse, l'étalonnage et l'équité sont testés en plus de l'exactitude.
| Vérifier | Comment c'est fait |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
La performance se dégrade lorsque les conditions de déploiement diffèrent des données d'entraînement. Les modèles peuvent encoder des biais et échouer sans avertissement clair sur des événements rares.
07Liens
Thèmes qui s'appuient sur cette méthode.
08Intendance
Qui tient à jour la méthode.
Studio Intelligence artificielle et systèmes est le garant de l'intelligence artificielle et de l'apprentissage automatique pour le Consortium et examine la manière dont ils sont appliqués sur les différentes plateformes.
09Questions
Questions et réponses.
Quelles sont les limites de l'intelligence artificielle et de l'apprentissage automatique dans ce domaine ?
La performance se dégrade lorsque les conditions de déploiement diffèrent des données d'entraînement. Les modèles peuvent encoder des biais et échouer sans avertissement clair sur des événements rares.
Comment les résultats sont-ils vérifiés ?
Les modèles sont évalués sur des données réservées qui respectent la structure spatiale, temporelle et par groupe. La robustesse, l'étalonnage et l'équité sont testés en plus de l'exactitude.
Les valeurs de cette page sont-elles réelles ?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Où d'autre cette méthode est-elle appliquée ?
Le page canonique de la méthode liste toutes les plateformes qui l'appliquent.
RapportsContribuer
Apportez des éléments de preuve depuis cette page.
Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIIntelligence artificielle et systèmes autonomesTechnologies exponentiellesPreuves des Labs
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoDépôt ouvertLe déposer et le soumettre à la communautéPubliez votre propre fiche sur Zenodo avec votre identifiant ORCID, puis soumettez-la à la communauté Reports qui s'y trouve. Des curateurs l'examinent ; le DOI reste le vôtre.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Intelligence artificielle et systèmes autonomes
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Juridique
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.