Skip to content

GCRI · Foundry

IA e apprendimento automatico presso Foundry

Artificial intelligence and machine learning extend detection, classification and forecasting across large archives, and agents extend them into action. In this field the method is also a source of risk: models that fail when conditions shift, outputs that sound certain when they are not, and tools that turn an error into an effect.

02Domanda di adesione

Cosa fanno qui l'intelligenza artificiale e l'apprendimento automatico.

Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In data and compute and methods and modelling, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.

Modelli di osservazione della Terra con validazione spaziale

Land cover, building and damage models are trained and tested on spatially separated blocks, so reported accuracy reflects new places rather than the neighbours of training pixels.

Model cards and promotion records

Ogni versione del modello riporta l'uso previsto, i dati di addestramento, la valutazione per regione e sottogruppo, i limiti noti e i risultati del red-teaming, ed è promossa solo con una revisione registrata.

Agenti circoscritti con ricevute

Agents run analyses with a declared tool set, data classes, budget and kill-switch enforced at the policy gate, and every action produces a receipt for a reviewer.

03Monitoraggio

Addestramento del modello.

La schermata che un gruppo utilizzerebbe per seguire questo metodo: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.

Addestramento del modello

Foundry · AI and machine learning at Foundry · Run R-6794

Drift on one sliceGCRI · Foundry

Valutazione per sottoinsieme

Tutti0.830.025712Superato
Regione A0.740.051098Valutazione
Regione B0.760.05458Valutazione
Classe rara0.640.07160Sotto la soglia

Scheda del metodo

Metodo
Intelligenza artificiale e apprendimento automatico
Suddivisione
basato sul tempo, senza contaminazione
Caratteristiche
22
Etichetta
MODELLATO

Stabilità della popolazione

Model training: the screen’s structure, terms and states for Foundry.Example names and illustrative values; a design, not a record or a live system.
04Dati

Cosa utilizza il metodo.

Set di dati e registri utilizzati dall'intelligenza artificiale e dall'apprendimento automatico su questa piattaforma, con il ruolo di ciascuno e l'etichetta dei suoi valori. Le fonti sono elencate nel registro delle fonti.

DatiRuoloEtichetta
Labelled training setsApprendimento supervisionatoRIPORTATO
Archivi di immagini satellitariInput per la classificazioneOSSERVATO
Held-out and out-of-distribution test setsValutazioneOSSERVATO
Registrazioni di valutazione e di red teamDecisioni di promozioneRIPORTATO
Schede informative (datasheet) per i dati di addestramentoOrigine, consenso e licenzaDICHIARATO
05Metodi ed evidenze

How AI and machine learning at Foundry is modelled, measured and tested.

Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.

Modello, equazioni e ipotesi

La struttura del modello usata per l'IA e il machine learning in Foundry, le ipotesi che formula e come ciascuna viene verificata.

Rischio dell'elemento iRi = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di risposta
Perdita annua attesaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemi accoppiatixt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
IpotesiPerché è realizzatoCome viene testato
Pericolo ed esposizione sono indipendenti all'interno di un eventoMantiene trattabile l'integrale delle perditeConfrontare con un adattamento di copula su registrazioni congiunte
Gli accoppiamenti sono lineari vicino al punto di funzionamentoConsente agli shock di propagarsi attraverso APerturbare oltre l'intervallo lineare e confrontare
Le curve di vulnerabilità si trasferiscono da un luogo all'altroLe curve locali sono raramente disponibiliValidare rispetto alle perdite osservate, dove esistono
Input
set di dati versionati con provenienza
Risultati
distribuzioni, mai valori singoli
Codice
pubblicato con la scheda del modello e i test
Riproduzione
stessi dati, codice, ambiente e seed
Formulazioni standard del rischio e dello spazio degli stati; le ipotesi elencate sono tipiche del metodo, dichiarate per la revisione, non risultati.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validazione

Come vengono verificati i risultati.

I modelli sono valutati su dati esclusi dalla stima che rispettano la struttura spaziale, temporale e di gruppo. Robustezza, calibrazione ed equità sono testate insieme all'accuratezza.

VerificaCome si fa
Spatial and temporal hold-outI dati di prova sono separati nello spazio e nel tempo dai dati di addestramento per evitare la fuga di informazioni
Probability calibrationPredicted probabilities are compared with observed frequencies on held-out data
Monitoraggio della derivaLe distribuzioni di input e output in uso sono confrontate con quelle della validazione, e la divergenza avvia una revisione
Test avversarialiI modelli e gli agenti vengono sottoposti a test contro prompt injection e uso improprio prima della promozione

Le prestazioni peggiorano quando le condizioni di impiego differiscono dai dati di addestramento. I modelli possono incorporare distorsioni e fallire senza un chiaro preavviso sugli eventi rari.

07Processo

Come si svolge il processo.

Process explorer · Process

AI and machine learning at Foundry: AI risk management (NIST)

9 steps5 stages1 gate

Processo

AI and machine learning at Foundry: AI risk management (NIST)

Il nucleo dell'AI RMF comprende quattro funzioni, GOVERN, MAP, MEASURE e MANAGE, con GOVERN trasversale; l'ordine illustrato è una lettura comune, non una lista di controllo.

  1. 01 Governare

    1. 01GOVERNARE: politiche, ruoli e responsabilitàFase · Custode del modelloGOVERN è una funzione trasversale. Permea l'intera gestione del rischio dell'IA e abilita le altre funzioni.
  2. 02 Map

    1. 02MAP: context and intended useDatasetThe MAP function establishes the context to frame risks related to an AI system, including intended purposes and impacts on people.
  3. 03 Misurare

    1. 03MISURARE: valutare le caratteristiche di affidabilitàModelloAI sistemi di IA sono valutati rispetto alle caratteristiche di affidabilità. Dovrebbero essere testati prima della messa in opera e regolarmente durante l'esercizio.
    2. 04MISURARE: monitorare nel tempo i rischi identificatiModelloSono in atto meccanismi per il monitoraggio nel tempo dei rischi di IA individuati, inclusi quelli imprevisti ed emergenti.
  4. 04 Gestione

    1. 05GESTIRE: trattare i rischiPassaggioTrattamento del rischio comprendono la risposta agli incidenti, il ripristino e la comunicazione. Le risorse sono destinate ai rischi mappati e misurati.
    2. 06Procedere o meno (MANAGE 1.1)Gate · Custode del modelloSi stabilisce se il sistema soddisfa i propri scopi e obiettivi e se procedere. Il quadro non fissa soglie.
    3. 07Decisione di implementazioneDecisione · Custode del modelloL'organizzazione proprietaria del sistema decide se e a quali condizioni procedere all'impiego.
    4. 08Monitoraggio post-implementazione e incidentiModelloI piani di monitoraggio post-implementazione sono attuati. Incidenti ed errori sono condivisi con gli attori dell'IA pertinenti, comprese le comunità interessate.
  5. 05 Registro

    1. 09Inventory of AI systemsDatasetGOVERN 1.6 asks for mechanisms to inventory AI systems. A model card is common practice and is not named in the framework.

Sintesi neutrale di uno standard o di un metodo esterno pubblicato, riportata dall'ente che lo ha emesso. Non costituisce una registrazione operativa. Nexus non esegue, certifica né approva alcuna fase illustrata. Un gate o una decisione spetta alla parte indicata dalla fonte. Le azioni non costituiscono necessariamente una sequenza ordinata di fasi. Il Regolamento UE sull'IA non è rappresentato in questo flusso.

09Custodia

Chi mantiene il metodo.

Intelligenza artificiale e sistemi autonomi è custode dell'intelligenza artificiale e dell'apprendimento automatico per il Consortium ed esamina come vengono applicati tra le piattaforme.

11Domande

Domande e risposte.

Quali sono i limiti dell'intelligenza artificiale e dell'apprendimento automatico in questo campo?
Le prestazioni peggiorano quando le condizioni di impiego differiscono dai dati di addestramento. I modelli possono incorporare distorsioni e fallire senza un chiaro preavviso sugli eventi rari.
Come vengono verificati i risultati?
I modelli sono valutati su dati esclusi dalla stima che rispettano la struttura spaziale, temporale e di gruppo. Robustezza, calibrazione ed equità sono testate insieme all'accuratezza.
I valori di questa pagina sono reali?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Dove altro viene applicato questo metodo?
Il pagina canonica del metodo elenca ogni piattaforma che lo applica.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

GCRIFoundryFoundry Build and Readiness
Foundry

Porta un metodo, un set di dati o una domanda.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.