GCRI · Foundry
Agenti e automazione
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agents and automation on the record.
Agents and automation: how the risk develops.
Strumenti di IA, autorità e controlli del rischio. Il dossier che segue illustra come si sviluppa il rischio, che cosa viene misurato, da dove provengono i dati, come vengono modellati e chi decide.
La portata degli strumenti moltiplica l'impatto
Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.
Instructions arrive in data
Il testo recuperato da una pagina web, da un documento o da un insieme di dati può contenere istruzioni che l'agente poi segue. La prompt injection trasforma un contenuto ordinario in un canale di controllo, perciò i permessi sugli strumenti non devono mai dipendere dal fatto che l'agente la riconosca.
L'errore ben formulato sembra un'evidenza
Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
Console dell'area di lavoro e dei job.
La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
Area di lavoro e console dei job
Agents and automation · Project space 12 · Cluster east
- Job in esecuzione31Attivo
- Attesa in coda, p508minNormal
- Esecuzioni oggi35924
- Quota utilizzata, % questo mese64Attenzione
Lavori
| J-86161 | Ensemble di modelli di inondazione | Responsabile del progetto | 00:37:12 | In esecuzione |
| J-42787 | Rendering delle tile, zoom da 0 a 12 | Spazio di lavoro GIS | 00:02:40 | In esecuzione |
| J-76872 | Esportazione delle evidenze | Custode del modello | 00:00:47 | Fatto |
| J-55145 | Batch di chiamate agli strumenti dell'agente | Sandbox degli agenti | 00:01:16 | Blocco da policy |
Eventi politici
- 10:25SogliaLa chiamata dell'agente richiede l'approvazione umana
- 10:51InfoRun record sealed
- 11:34AvvisareQuota all'80% per il progetto
L'automazione in Foundry è progettata per mantenere le persone al comando in ogni dominio.
- WaterIn practiceAutomated data checks flag anomalies for people to review.What a reader can checkReview logs
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- SaluteIn praticaGli agenti non accedono mai ai dati sanitari personali senza una base giuridica.Che cosa può verificare un lettoreRegistri di accesso
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Revisioni di security e safety.
- Proposte di progettazione della supervisione.
Come vengono modellati, misurati e testati gli agenti e l'automazione.
Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.
Modello, equazioni e ipotesi
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di rispostaEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Ipotesi | Perché è realizzato | Come viene testato |
|---|---|---|
| Pericolo ed esposizione sono indipendenti all'interno di un evento | Mantiene trattabile l'integrale delle perdite | Confrontare con un adattamento di copula su registrazioni congiunte |
| Gli accoppiamenti sono lineari vicino al punto di funzionamento | Consente agli shock di propagarsi attraverso A | Perturbare oltre l'intervallo lineare e confrontare |
| Le curve di vulnerabilità si trasferiscono da un luogo all'altro | Le curve locali sono raramente disponibili | Validare rispetto alle perdite osservate, dove esistono |
- Input
- set di dati versionati con provenienza
- Risultati
- distribuzioni, mai valori singoli
- Codice
- pubblicato con la scheda del modello e i test
- Riproduzione
- stessi dati, codice, ambiente e seed
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Agenti attivi con un record di autorizzazione in corso di validità | proporzione di agenti attivi | settimanale | Registro delle autorità | DICHIARATO |
| Chiamate a strumenti negate al gate delle policy | count per agent per period | giornaliero | Policy gate logs | OSSERVATO |
| Tempo dall'attivazione del kill switch all'arresto | secondi | per drill or event | Registri di gate e di esecuzione | OSSERVATO |
| Agent outputs accepted after human review | proporzione dei risultati | mensile | Registri di revisione | OSSERVATO |
| Risultanze del red team ancora aperte alla promozione | conteggio per gravità | per versione del modello | Registri di valutazione | RIPORTATO |
| Unsupported claims found in sampled outputs | conteggio per campione | mensile | Audit del revisore | OSSERVATO |
| Azioni degli agenti con ricevuta completa | proporzione di azioni | giornaliero | Receipt store | OSSERVATO |
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| AI Incident Database | Documented real-world AI failures and harms for hazard identification | Aperto, condizioni del database |
| OECD AI Incidents Monitor | Reported AI incidents and hazards drawn from news sources | Termini dell'OCSE |
| MITRE ATLAS | Tattiche e tecniche degli avversari contro i sistemi | Gratuito, termini di utilizzo |
| OWASP Top 10 per le applicazioni basate su modelli linguistici di grandi dimensioni | Classi comuni di vulnerabilità nei modelli linguistici e nei sistemi ad agenti | CC BY-SA |
| NIST AI RMF Playbook | Azioni suggerite per le funzioni di governo, mappatura, misurazione e gestione | Pubblico dominio |
| Model cards published with open models | Intended use, evaluation and known limits of a base model | Licenza per modello |
Chi decide, e a cosa servono le evidenze.
Foundry prepara le evidenze. Le decisioni riportate di seguito sono prese dalle autorità indicate, secondo le rispettive norme, e mai dalla piattaforma.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Istituzioni di vigilanza | Whether an agent may act in their project, with which tools and on which data | Registro dell'autorità, registro della valutazione, risultanze aperte del red teaming |
| Titolari dei dati | Se i loro dati possano essere letti da agenti o usati per addestrare o ottimizzare modelli | Data classes in scope; the recorded training decision |
| Revisori | Whether an agent’s draft may be accepted into evidence or a report | Receipts, sources cited and checked, evidence labels |
| Responsabili della governance dell'IA e autorità per la protezione dei dati | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
Output prodotti da questo argomento
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Registri di valutazione e di red-teaming a ogni promozione
- Receipts for every agent action
- Labelled drafts that remain assertions until a person reviews them
Che cosa chiedono gli ingegneri dell'IA e della sicurezza.
- What exactly is this agent permitted to do, on which data, in which project?
- Come sono stati valutati l'agente e il suo modello per questo uso, e da chi?
- Ogni azione di un agente può essere attribuita a un'identità, a una configurazione e a un'istituzione di supervisione?
- In quanto tempo una persona può fermarlo, e tale arresto è imposto al di fuori dell'agente?
Registri di autorità, gate e ricevute.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
La valutazione precede l'autorità.
- 01
Contract testing
Le integrazioni e gli agenti vengono verificati rispetto ai contratti dichiarati prima di ricevere autorità in qualsiasi tenant.
- 02
Valutazione dei modelli
Promotion of a model requires evaluation records, including red-team results where the use calls for them.
- 03
Data use
No tenant data is used for training without a recorded decision by the data owner.
- 04
Limiti noti
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Gli agenti non assumono mai una decisione che spetti a un'istituzione o a un'autorità competente, né emettono un'allerta, sbloccano fondi, inviano risorse, firmano un'accettazione o presentano una bozza come evidenza revisionata.
Come viene studiato, e cosa i metodi non possono dire.
- 01Intelligenza artificiale e apprendimento automaticoModelli di osservazione della Terra con convalida spaziale · Schede dei modelli e registri di promozioneApplicato qui
- 02Ingegneria del software e dei sistemi critici per la sicurezzaControlli delle politiche a sicurezza intrinseca · Provenienza delle build e distinte dei materiali · Casi di garanziaApplicato qui
- 03Ingegneria dei sistemiInventario canonico dei sistemi · Interfacce definite dal contratto · Requisiti ricondotti alle evidenzeApplicato qui
- 04Ingegneria, interoperabilità e gestione responsabile dei datiConvalida al confine di acquisizione · Estrazioni di dati congelate per prodotti riproducibiliApplicato qui
Where this page’s references lead.
Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.
Domande e risposte.
Who is accountable for an agent’s output?
Perché le autorizzazioni sono applicate al di fuori dell'agente?
I dati di progetto vengono usati per addestrare modelli?
Can I connect my own agent?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.