Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · Intelligenza artificiale e sistemi autonomi
Comportamento dell'apprendimento automatico
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
01Registrare
Machine learning behaviour on the record.
Registro del metodoMetodo STEM
- MetodoIntelligenza artificiale e apprendimento automatico
- CustodeStudio Intelligenza artificiale e sistemi
- Applicato inIntelligenza artificiale e sistemi autonomi
- Dati3 inputs
- Verifiche3 fasi di validazione
- Pagina canonicaBeni comuni STEM
02Domanda di adesione
Cosa fanno qui l'intelligenza artificiale e l'apprendimento automatico.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected sistemi. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on gli STEM Commons.
Fine-tuning for a specific use
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Interpretability methods
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
03Simulatore
Un modello a soglia del comportamento collettivo.
Ogni agente agisce quando lo hanno fatto abbastanza dei suoi contatti; piccole variazioni della soglia media o dei primi a muoversi decidono se il comportamento resta locale o si propaga a cascata nella popolazione. Modello didattico con valori illustrativi dichiarati, non una previsione.
Comandi
- Soglia media (quota di vicini)
- 18%
- Dispersione delle soglie
- 8 punti
- Primi a muoversi
- 2,0% delle persone
- Contatti per persona
- 8
Letture
- Quota di chi ha agito alla fine
- 100%
- Cascata globale
- Sì
- Passaggi fino al regolamento
- 10
Numeri, metodi e fonti
| Passaggio | Quota di chi ha agito (%) |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
Metodi
- Modelli a soglia del comportamento collettivo Granovetter (1978), American Journal of Sociology 83
- Cascate globali su reti casuali Watts (2002), PNAS 99
- Contagi complessi Centola and Macy (2007), American Journal of Sociology 113
- Sensibilità un fattore alla volta (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dati
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
Nei sei pilastri, sotto la guida di Nexus Consortium
- Esperimenti Laboratori
- Costruito in Intelligenza artificiale e sistemi autonomi in Foundry
- Testato a Intelligenza artificiale e sistemi autonomi in Universe
- Codificato in Digitale, cibernetico e IA in Standards
- Pubblicato in Intelligenza artificiale e sistemi autonomi in Reports
- Insegnato in Facoltà di Tecnologia e sistemi digitali in Academy
04Dati
Cosa utilizza il metodo.
Set di dati e registri utilizzati dall'intelligenza artificiale e dall'apprendimento automatico su questa piattaforma, con il ruolo di ciascuno e l'etichetta dei suoi valori. Le fonti sono elencate nel registro delle fonti.
| Dati | Ruolo | Etichetta |
|---|---|---|
| Training and validation datasets with documentation | Model development | DICHIARATO |
| Deployment input logs | Shift detection | OSSERVATO |
| Benchmark suites | Comparison | RIPORTATO |
05Metodi ed evidenze
How machine learning behaviour is modelled, measured and tested.
Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.
Modello, equazioni e ipotesi
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
Rischio dell'elemento i
Ri = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di rispostaPerdita annua attesa
EAL = ∑k pk · Lksu eventi k con probabilità annua pkSistemi accoppiati
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Ipotesi | Perché è realizzato | Come viene testato |
|---|---|---|
| Pericolo ed esposizione sono indipendenti all'interno di un evento | Mantiene trattabile l'integrale delle perdite | Confrontare con un adattamento di copula su registrazioni congiunte |
| Gli accoppiamenti sono lineari vicino al punto di funzionamento | Consente agli shock di propagarsi attraverso A | Perturbare oltre l'intervallo lineare e confrontare |
| Le curve di vulnerabilità si trasferiscono da un luogo all'altro | Le curve locali sono raramente disponibili | Validare rispetto alle perdite osservate, dove esistono |
- Input
- set di dati versionati con provenienza
- Risultati
- distribuzioni, mai valori singoli
- Codice
- pubblicato con la scheda del modello e i test
- Riproduzione
- stessi dati, codice, ambiente e seed
Principi guida FAIR · GO FAIR e FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Comitato sui satelliti per l'osservazione della Terra
06Validazione
Come vengono verificati i risultati.
I modelli sono valutati su dati esclusi dalla stima che rispettano la struttura spaziale, temporale e di gruppo. Robustezza, calibrazione ed equità sono testate insieme all'accuratezza.
| Verifica | Come si fa |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
Le prestazioni peggiorano quando le condizioni di impiego differiscono dai dati di addestramento. I modelli possono incorporare distorsioni e fallire senza un chiaro preavviso sugli eventi rari.
07Collegamenti
Argomenti che si basano su questo metodo.
08Custodia
Chi mantiene il metodo.
Studio Intelligenza artificiale e sistemi è custode dell'intelligenza artificiale e dell'apprendimento automatico per il Consortium ed esamina come vengono applicati tra le piattaforme.
09Domande
Domande e risposte.
Quali sono i limiti dell'intelligenza artificiale e dell'apprendimento automatico in questo campo?
Le prestazioni peggiorano quando le condizioni di impiego differiscono dai dati di addestramento. I modelli possono incorporare distorsioni e fallire senza un chiaro preavviso sugli eventi rari.
Come vengono verificati i risultati?
I modelli sono valutati su dati esclusi dalla stima che rispettano la struttura spaziale, temporale e di gruppo. Robustezza, calibrazione ed equità sono testate insieme all'accuratezza.
I valori di questa pagina sono reali?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Dove altro viene applicato questo metodo?
Il pagina canonica del metodo elenca ogni piattaforma che lo applica.
RapportiContribuisci
Contribuisci con evidenze da questa pagina.
Rapporti is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIIntelligenza artificiale e sistemi autonomiTecnologia esponenzialeEvidenze di Labs
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoDeposito apertoDepositalo e invialo alla comunitàPubblica il tuo registro su Zenodo con il tuo ORCID iD, poi invialo alla comunità Reports. I curatori lo esaminano; il DOI resta tuo.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Intelligenza artificiale e sistemi autonomi
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Note legali
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.