Skip to content

GCRI · Foundry

Agenti e automazione

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

02La domanda

Agents and automation: how the risk develops.

Strumenti di IA, autorità e controlli del rischio. Il dossier che segue illustra come si sviluppa il rischio, che cosa viene misurato, da dove provengono i dati, come vengono modellati e chi decide.

Meccanismo

La portata degli strumenti moltiplica l'impatto

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

Meccanismo

Instructions arrive in data

Il testo recuperato da una pagina web, da un documento o da un insieme di dati può contenere istruzioni che l'agente poi segue. La prompt injection trasforma un contenuto ordinario in un canale di controllo, perciò i permessi sugli strumenti non devono mai dipendere dal fatto che l'agente la riconosca.

Meccanismo

L'errore ben formulato sembra un'evidenza

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

Meccanismo

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03Monitoraggio

Console dell'area di lavoro e dei job.

La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.

Area di lavoro e console dei job

Agents and automation · Project space 12 · Cluster east

  • Job in esecuzione
    31Attivo
  • Attesa in coda, p50
    8minNormal
  • Esecuzioni oggi
    35924
  • Quota utilizzata, % questo mese
    64Attenzione
IllustrativeGCRI · Foundry

Lavori

J-86161Ensemble di modelli di inondazioneResponsabile del progetto00:37:12In esecuzione
J-42787Rendering delle tile, zoom da 0 a 12Spazio di lavoro GIS00:02:40In esecuzione
J-76872Esportazione delle evidenzeCustode del modello00:00:47Fatto
J-55145Batch di chiamate agli strumenti dell'agenteSandbox degli agenti00:01:16Blocco da policy

Eventi politici

  1. 10:25SogliaLa chiamata dell'agente richiede l'approvazione umana
  2. 10:51InfoRun record sealed
  3. 11:34AvvisareQuota all'80% per il progetto
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04Nei cinque domini

L'automazione in Foundry è progettata per mantenere le persone al comando in ogni dominio.

05Metodi ed evidenze

Come vengono modellati, misurati e testati gli agenti e l'automazione.

Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.

Modello, equazioni e ipotesi

The model structure used for agents and automation, the assumptions it makes and how each is tested.

Rischio dell'elemento iRi = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di risposta
Perdita annua attesaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemi accoppiatixt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
IpotesiPerché è realizzatoCome viene testato
Pericolo ed esposizione sono indipendenti all'interno di un eventoMantiene trattabile l'integrale delle perditeConfrontare con un adattamento di copula su registrazioni congiunte
Gli accoppiamenti sono lineari vicino al punto di funzionamentoConsente agli shock di propagarsi attraverso APerturbare oltre l'intervallo lineare e confrontare
Le curve di vulnerabilità si trasferiscono da un luogo all'altroLe curve locali sono raramente disponibiliValidare rispetto alle perdite osservate, dove esistono
Input
set di dati versionati con provenienza
Risultati
distribuzioni, mai valori singoli
Codice
pubblicato con la scheda del modello e i test
Riproduzione
stessi dati, codice, ambiente e seed
Formulazioni standard del rischio e dello spazio degli stati; le ipotesi elencate sono tipiche del metodo, dichiarate per la revisione, non risultati.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Agenti attivi con un record di autorizzazione in corso di validitàproporzione di agenti attivisettimanaleRegistro delle autoritàDICHIARATO
Chiamate a strumenti negate al gate delle policycount per agent per periodgiornalieroPolicy gate logsOSSERVATO
Tempo dall'attivazione del kill switch all'arrestosecondiper drill or eventRegistri di gate e di esecuzioneOSSERVATO
Agent outputs accepted after human reviewproporzione dei risultatimensileRegistri di revisioneOSSERVATO
Risultanze del red team ancora aperte alla promozioneconteggio per gravitàper versione del modelloRegistri di valutazioneRIPORTATO
Unsupported claims found in sampled outputsconteggio per campionemensileAudit del revisoreOSSERVATO
Azioni degli agenti con ricevuta completaproporzione di azionigiornalieroReceipt storeOSSERVATO
07Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
AI Incident DatabaseDocumented real-world AI failures and harms for hazard identificationAperto, condizioni del database
OECD AI Incidents MonitorReported AI incidents and hazards drawn from news sourcesTermini dell'OCSE
MITRE ATLASTattiche e tecniche degli avversari contro i sistemiGratuito, termini di utilizzo
OWASP Top 10 per le applicazioni basate su modelli linguistici di grandi dimensioniClassi comuni di vulnerabilità nei modelli linguistici e nei sistemi ad agentiCC BY-SA
NIST AI RMF PlaybookAzioni suggerite per le funzioni di governo, mappatura, misurazione e gestionePubblico dominio
Model cards published with open modelsIntended use, evaluation and known limits of a base modelLicenza per modello
08Decisioni

Chi decide, e a cosa servono le evidenze.

Foundry prepara le evidenze. Le decisioni riportate di seguito sono prese dalle autorità indicate, secondo le rispettive norme, e mai dalla piattaforma.

Chi decideLa domandaEvidenze fornite da questa pagina
Istituzioni di vigilanzaWhether an agent may act in their project, with which tools and on which dataRegistro dell'autorità, registro della valutazione, risultanze aperte del red teaming
Titolari dei datiSe i loro dati possano essere letti da agenti o usati per addestrare o ottimizzare modelliData classes in scope; the recorded training decision
RevisoriWhether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
Responsabili della governance dell'IA e autorità per la protezione dei datiWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

Output prodotti da questo argomento

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Registri di valutazione e di red-teaming a ogni promozione
  • Receipts for every agent action
  • Labelled drafts that remain assertions until a person reviews them
09Questioni centrali

Che cosa chiedono gli ingegneri dell'IA e della sicurezza.

  • What exactly is this agent permitted to do, on which data, in which project?
  • Come sono stati valutati l'agente e il suo modello per questo uso, e da chi?
  • Ogni azione di un agente può essere attribuita a un'identità, a una configurazione e a un'istituzione di supervisione?
  • In quanto tempo una persona può fermarlo, e tale arresto è imposto al di fuori dell'agente?
10Meccanismi

Registri di autorità, gate e ricevute.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

La valutazione precede l'autorità.

  1. 01

    Contract testing

    Le integrazioni e gli agenti vengono verificati rispetto ai contratti dichiarati prima di ricevere autorità in qualsiasi tenant.

  2. 02

    Valutazione dei modelli

    Promotion of a model requires evaluation records, including red-team results where the use calls for them.

  3. 03

    Data use

    No tenant data is used for training without a recorded decision by the data owner.

  4. 04

    Limiti noti

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Gli agenti non assumono mai una decisione che spetti a un'istituzione o a un'autorità competente, né emettono un'allerta, sbloccano fondi, inviano risorse, firmano un'accettazione o presentano una bozza come evidenza revisionata.

12Metodi

Come viene studiato, e cosa i metodi non possono dire.

13Where this page’s references

Where this page’s references lead.

Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.

14Domande

Domande e risposte.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
Perché le autorizzazioni sono applicate al di fuori dell'agente?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
I dati di progetto vengono usati per addestrare modelli?
Non senza una decisione registrata del titolare dei dati. Gli usi per addestramento, messa a punto e valutazione sono dichiarati separatamente nei termini della fonte.
Can I connect my own agent?
L'accesso di agenti e integrazioni è progettato per aprirsi con progetti autorizzati, dopo test contrattuali rispetto agli strumenti e agli ambiti dichiarati.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

GCRIFoundryFoundry Build and Readiness
Foundry

Porta un metodo, un set di dati o una domanda.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.