GCRI · Foundry
Agents et automatisation
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agents et automatisation au dossier.
Agents and automation: how the risk develops.
Outils d'IA, autorité et contrôles des risques. Le dossier ci-dessous expose comment le risque se développe, ce qui est mesuré, d'où proviennent les données, comment elles sont modélisées et qui décide.
Tool reach multiplies impact
Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.
Les instructions arrivent dans les données
Un texte extrait d'une page web, d'un document ou d'un jeu de données peut contenir des instructions que l'agent suit ensuite. L'injection de prompt transforme un contenu ordinaire en canal de contrôle ; les autorisations d'outils ne doivent donc jamais dépendre de la capacité de l'agent à la reconnaître.
L'erreur formulée avec fluidité ressemble à des données probantes
Les modèles de langage produisent des résultats assurés et bien présentés, mais qui peuvent être erronés, y compris des citations et des chiffres inventés. Dès qu'un brouillon non signalé entre dans un rapport, il emprunte l'autorité du rapport et celle des personnes qui l'ont signé.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
Console de l'espace de travail et des tâches.
L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Espace de travail et console des tâches
Agents et automatisation · Espace de projet 12 · Cluster est
- Tâches en cours31Actif
- Attente en file, p508minNormal
- Exécutions aujourd'hui35924
- Quota utilisé, % ce mois-ci64Surveillance
Emplois
| J-86161 | Ensemble de modèles d'inondation | Responsable du projet | 00:37:12 | En cours |
| J-42787 | Rendu des tuiles, zoom 0 à 12 | Espace de travail SIG | 00:02:40 | En cours |
| J-76872 | Export des preuves | Garant du modèle | 00:00:47 | Terminé |
| J-55145 | Lot d'appels d'outils d'agent | Bac à sable d'agents | 00:01:16 | Blocage par la politique |
Événements politiques
- 10:25JalonL'appel de l'agent requiert une approbation humaine
- 10:51InfoRun record sealed
- 11:34AlerterQuota à 80 % pour le projet
L'automatisation dans Foundry est conçue pour maintenir les humains aux commandes dans tous les domaines.
- WaterIn practiceAutomated data checks flag anomalies for people to review.What a reader can checkReview logs
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- HealthIn practiceAgents never access personal health data without basis.What a reader can checkAccess logs
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Examens de sécurité et de sûreté.
- Propositions de conception de la supervision.
Comment les agents et l'automatisation sont modélisés, mesurés et testés.
Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.
Modèle, équations et hypothèses
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire faceEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Hypothèse | Pourquoi il est réalisé | Comment il est testé |
|---|---|---|
| Aléa et exposition sont indépendants au sein d'un événement | Garde l'intégrale des pertes calculable | Comparer avec un ajustement de copule sur des relevés conjoints |
| Les couplages sont linéaires près du point de fonctionnement | Laisse les chocs se propager à travers A | Perturber au-delà de la plage linéaire et comparer |
| Les courbes de vulnérabilité se transposent d'un lieu à l'autre | Les courbes locales sont rarement disponibles | Valider par rapport aux pertes observées lorsqu'elles existent |
- Entrées
- jeux de données versionnés avec provenance
- Productions
- des distributions, jamais des nombres isolés
- Code
- publié avec la fiche de modèle et les tests
- Reproduction
- mêmes données, code, environnement et graine
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Agents actifs disposant d'un enregistrement d'autorité à jour | proportion d'agents actifs | hebdomadaire | Registre des autorités | DÉCLARÉ |
| Appels d'outils refusés à la porte de politique | count per agent per period | quotidien | Journaux de la porte de politique | OBSERVÉ |
| Délai entre l'activation du coupe-circuit et l'arrêt | secondes | par exercice ou événement | Journaux des portes et d'exécution | OBSERVÉ |
| Productions d'agents acceptées après examen humain | proportion des produits | mensuel | Dossiers d'examen | OBSERVÉ |
| Red-team findings open at promotion | nombre par niveau de gravité | par version du modèle | Enregistrements d'évaluation | DÉCLARÉ |
| Unsupported claims found in sampled outputs | count per sample | mensuel | Audit par les évaluateurs | OBSERVÉ |
| Actions d'agents assorties d'un reçu complet | proportion of actions | quotidien | Receipt store | OBSERVÉ |
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| AI Incident Database | Défaillances et préjudices réels documentés de l'IA pour l'identification des aléas | Ouvert, conditions d'utilisation de la base de données |
| Observatoire des incidents d'IA de l'OCDE | Incidents et aléas liés à l'IA signalés, tirés de sources d'actualité | Conditions de l'OCDE |
| MITRE ATLAS | Tactiques et techniques adverses contre les systèmes | Gratuit, conditions d'utilisation |
| OWASP Top 10 pour les applications de grands modèles de langage | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF Playbook | Actions suggérées pour les fonctions de gouvernance, de cartographie, de mesure et de gestion | Domaine public |
| Fiches de modèle publiées avec les modèles ouverts | Usage prévu, évaluation et limites connues d'un modèle de base | Licence par modèle |
Qui décide, et à quoi servent les données probantes.
Foundry prépare les données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Supervising institutions | Si un agent peut agir dans leur projet, avec quels outils et sur quelles données | Authority record, evaluation record, open red-team findings |
| Propriétaires des données | Si leurs données peuvent être lues par des agents ou servir à entraîner ou à ajuster des modèles | Data classes in scope; the recorded training decision |
| Évaluateurs | Whether an agent’s draft may be accepted into evidence or a report | Reçus, sources citées et vérifiées, étiquettes de données probantes |
| Responsables de la gouvernance de l'IA et autorités de protection des données | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
Résultats que produit ce thème
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Dossiers d'évaluation et d'équipe rouge à chaque promotion
- Reçus pour chaque action d'agent
- Labelled drafts that remain assertions until a person reviews them
What AI and safety engineers ask.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- Chaque action d'un agent peut-elle être attribuée à une identité, à une configuration et à une institution de supervision ?
- How quickly can a person stop it, and is that stop enforced outside the agent?
Authority records, gates and receipts.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
Tests de contrats
Integrations and agents are tested against their declared contracts before they receive authority in any tenant.
- 02
Évaluation des modèles
Promotion of a model requires evaluation records, including red-team results where the use calls for them.
- 03
Utilisation des données
Aucune donnée de locataire n'est utilisée pour l'entraînement sans une décision consignée du propriétaire des données.
- 04
Limites connues
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Intelligence artificielle et apprentissage automatiqueModèles d'observation de la Terre avec validation spatiale · Fiches de modèle et registres de promotionAppliqué ici
- 02Ingénierie des logiciels et des systèmes critiques pour la sécuritéContrôles de politique à sécurité intégrée · Provenance des builds et nomenclatures · Dossiers d'assuranceAppliqué ici
- 03Ingénierie des systèmesInventaire canonique des systèmes · Interfaces conçues d'abord par contrat · Exigences rattachées aux données probantesAppliqué ici
- 04Ingénierie, interopérabilité et intendance des donnéesValidation à la frontière d'ingestion · Coupes de données figées pour des produits reproductiblesAppliqué ici
Where this page’s references lead.
Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.
Questions et réponses.
Who is accountable for an agent’s output?
Pourquoi les autorisations sont-elles appliquées en dehors de l'agent ?
Is project data used to train models?
Can I connect my own agent?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.