Skip to content

GCRI · Foundry

Agents et automatisation

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

02La question

Agents and automation: how the risk develops.

Outils d'IA, autorité et contrôles des risques. Le dossier ci-dessous expose comment le risque se développe, ce qui est mesuré, d'où proviennent les données, comment elles sont modélisées et qui décide.

Mécanisme

Tool reach multiplies impact

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

Mécanisme

Les instructions arrivent dans les données

Un texte extrait d'une page web, d'un document ou d'un jeu de données peut contenir des instructions que l'agent suit ensuite. L'injection de prompt transforme un contenu ordinaire en canal de contrôle ; les autorisations d'outils ne doivent donc jamais dépendre de la capacité de l'agent à la reconnaître.

Mécanisme

L'erreur formulée avec fluidité ressemble à des données probantes

Les modèles de langage produisent des résultats assurés et bien présentés, mais qui peuvent être erronés, y compris des citations et des chiffres inventés. Dès qu'un brouillon non signalé entre dans un rapport, il emprunte l'autorité du rapport et celle des personnes qui l'ont signé.

Mécanisme

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03Suivi

Console de l'espace de travail et des tâches.

L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.

Espace de travail et console des tâches

Agents et automatisation · Espace de projet 12 · Cluster est

  • Tâches en cours
    31Actif
  • Attente en file, p50
    8minNormal
  • Exécutions aujourd'hui
    35924
  • Quota utilisé, % ce mois-ci
    64Surveillance
IllustrativeGCRI · Foundry

Emplois

J-86161Ensemble de modèles d'inondationResponsable du projet00:37:12En cours
J-42787Rendu des tuiles, zoom 0 à 12Espace de travail SIG00:02:40En cours
J-76872Export des preuvesGarant du modèle00:00:47Terminé
J-55145Lot d'appels d'outils d'agentBac à sable d'agents00:01:16Blocage par la politique

Événements politiques

  1. 10:25JalonL'appel de l'agent requiert une approbation humaine
  2. 10:51InfoRun record sealed
  3. 11:34AlerterQuota à 80 % pour le projet
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04Dans les cinq domaines

L'automatisation dans Foundry est conçue pour maintenir les humains aux commandes dans tous les domaines.

05Méthodes et preuves

Comment les agents et l'automatisation sont modélisés, mesurés et testés.

Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.

Modèle, équations et hypothèses

The model structure used for agents and automation, the assumptions it makes and how each is tested.

Risque de l'élément iRi = f(Hi, Ei, Vi, Ci)aléa, exposition, vulnérabilité et capacité à faire face
Perte annuelle attendueEAL = ∑k pk · Lkover events k with annual probability pk
Systèmes couplésxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
HypothèsePourquoi il est réaliséComment il est testé
Aléa et exposition sont indépendants au sein d'un événementGarde l'intégrale des pertes calculableComparer avec un ajustement de copule sur des relevés conjoints
Les couplages sont linéaires près du point de fonctionnementLaisse les chocs se propager à travers APerturber au-delà de la plage linéaire et comparer
Les courbes de vulnérabilité se transposent d'un lieu à l'autreLes courbes locales sont rarement disponiblesValider par rapport aux pertes observées lorsqu'elles existent
Entrées
jeux de données versionnés avec provenance
Productions
des distributions, jamais des nombres isolés
Code
publié avec la fiche de modèle et les tests
Reproduction
mêmes données, code, environnement et graine
Formulations standard du risque et de l'espace d'états ; les hypothèses énumérées sont typiques de la méthode, énoncées pour examen, et non des résultats.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Agents actifs disposant d'un enregistrement d'autorité à jourproportion d'agents actifshebdomadaireRegistre des autoritésDÉCLARÉ
Appels d'outils refusés à la porte de politiquecount per agent per periodquotidienJournaux de la porte de politiqueOBSERVÉ
Délai entre l'activation du coupe-circuit et l'arrêtsecondespar exercice ou événementJournaux des portes et d'exécutionOBSERVÉ
Productions d'agents acceptées après examen humainproportion des produitsmensuelDossiers d'examenOBSERVÉ
Red-team findings open at promotionnombre par niveau de gravitépar version du modèleEnregistrements d'évaluationDÉCLARÉ
Unsupported claims found in sampled outputscount per samplemensuelAudit par les évaluateursOBSERVÉ
Actions d'agents assorties d'un reçu completproportion of actionsquotidienReceipt storeOBSERVÉ
07Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
AI Incident DatabaseDéfaillances et préjudices réels documentés de l'IA pour l'identification des aléasOuvert, conditions d'utilisation de la base de données
Observatoire des incidents d'IA de l'OCDEIncidents et aléas liés à l'IA signalés, tirés de sources d'actualitéConditions de l'OCDE
MITRE ATLASTactiques et techniques adverses contre les systèmesGratuit, conditions d'utilisation
OWASP Top 10 pour les applications de grands modèles de langageCommon vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF PlaybookActions suggérées pour les fonctions de gouvernance, de cartographie, de mesure et de gestionDomaine public
Fiches de modèle publiées avec les modèles ouvertsUsage prévu, évaluation et limites connues d'un modèle de baseLicence par modèle
08Décisions

Qui décide, et à quoi servent les données probantes.

Foundry prépare les données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
Supervising institutionsSi un agent peut agir dans leur projet, avec quels outils et sur quelles donnéesAuthority record, evaluation record, open red-team findings
Propriétaires des donnéesSi leurs données peuvent être lues par des agents ou servir à entraîner ou à ajuster des modèlesData classes in scope; the recorded training decision
ÉvaluateursWhether an agent’s draft may be accepted into evidence or a reportReçus, sources citées et vérifiées, étiquettes de données probantes
Responsables de la gouvernance de l'IA et autorités de protection des donnéesWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

Résultats que produit ce thème

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Dossiers d'évaluation et d'équipe rouge à chaque promotion
  • Reçus pour chaque action d'agent
  • Labelled drafts that remain assertions until a person reviews them
09Questions essentielles

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • Chaque action d'un agent peut-elle être attribuée à une identité, à une configuration et à une institution de supervision ?
  • How quickly can a person stop it, and is that stop enforced outside the agent?
10Mécanismes

Authority records, gates and receipts.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Evaluation comes before authority.

  1. 01

    Tests de contrats

    Integrations and agents are tested against their declared contracts before they receive authority in any tenant.

  2. 02

    Évaluation des modèles

    Promotion of a model requires evaluation records, including red-team results where the use calls for them.

  3. 03

    Utilisation des données

    Aucune donnée de locataire n'est utilisée pour l'entraînement sans une décision consignée du propriétaire des données.

  4. 04

    Limites connues

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.

12Méthodes

Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.

13Where this page’s references

Where this page’s references lead.

Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.

14Questions

Questions et réponses.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
Pourquoi les autorisations sont-elles appliquées en dehors de l'agent ?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Is project data used to train models?
Not without a recorded decision by the data owner. Training, tuning and evaluation uses are declared separately in the source terms.
Can I connect my own agent?
L'accès des agents et des intégrations est conçu pour s'ouvrir aux projets autorisés, après des tests de contrat portant sur les outils et les périmètres déclarés.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

GCRIFoundryFoundry Build and Readiness
Foundry

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.