Skip to content

GCRI · Foundry

Agenten und Automatisierung

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

01Registrieren

Agents and automation on the record.

02Die Frage

Agenten und Automatisierung: wie sich das Risiko entwickelt.

KI-Werkzeuge, Befugnisse und Risikokontrollen. Das nachstehende Dossier legt dar, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.

Mechanismus

Die Reichweite von Werkzeugen vervielfacht die Wirkung

Jedes Werkzeug, das ein Agent aufrufen kann, schafft einen weiteren Pfad von einem Modellfehler zu einer realen Wirkung: einer Abfrage, einem Schreibvorgang, einer Nachricht, einem Ablauf. Das Risiko wächst mit der Zahl der Werkzeuge und der dahinterstehenden Berechtigungen, nicht allein mit dem Modell.

Mechanismus

Anweisungen kommen in den Daten an

Text, der von einer Webseite, einem Dokument oder einem Datensatz abgerufen wird, kann Anweisungen enthalten, denen der Agent dann folgt. Prompt Injection macht gewöhnliche Inhalte zu einem Steuerkanal; daher dürfen Werkzeugberechtigungen niemals davon abhängen, dass der Agent dies erkennt.

Mechanismus

Flüssig formulierte Fehler wirken wie Evidenz

Sprachmodelle erzeugen überzeugend wirkende, gut formatierte Ausgaben, die falsch sein können, darunter erfundene Quellenangaben und Zahlen. Sobald ein nicht gekennzeichneter Entwurf in einen Bericht gelangt, borgt er sich die Autorität des Berichts und der Personen, die ihn unterzeichnet haben.

Mechanismus

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03Monitoring

Konsole für Arbeitsbereich und Aufträge.

Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.

Arbeitsbereich und Jobkonsole

Agenten und Automatisierung · Projektraum 12 · Cluster Ost

  • Laufende Aufträge
    31Aktiv
  • Wartezeit in der Warteschlange, p50
    8minNormal
  • Läufe heute
    35924
  • Kontingent genutzt, % in diesem Monat
    64Beobachtung
IllustrativeGCRI · Foundry

Arbeitsplätze

J-86161Ensemble von HochwassermodellenProjektverantwortliche00:37:12Läuft
J-42787Kachel-Rendering, Zoom 0 bis 12GIS-Arbeitsbereich00:02:40Läuft
J-76872EvidenzexportModell-Sachwalter00:00:47Erledigt
J-55145Stapel von Agenten-WerkzeugaufrufenAgenten-Sandbox00:01:16Richtlinienblock

Politische Ereignisse

  1. 10:25MeilensteinAgentenaufruf erfordert menschliche Freigabe
  2. 10:51InfoRun record sealed
  3. 11:34WarnenKontingent bei 80 Prozent für das Projekt
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04In den fünf Domänen

Die Automatisierung in Foundry ist so konzipiert, dass in jeder Domäne der Mensch die Kontrolle behält.

05Methoden und Evidenz

Wie Agenten und Automatisierung modelliert, gemessen und getestet werden.

Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.

Modell, Gleichungen und Annahmen

Die Modellstruktur für Agenten und Automatisierung, die ihr zugrunde liegenden Annahmen und wie jede davon getestet wird.

Risiko des Elements iRi = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und Bewältigungskapazität
Erwarteter jährlicher SchadenEAL = ∑k pk · Lkover events k with annual probability pk
Gekoppelte Systemext+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AnnahmeWarum es entstehtWie es geprüft wird
Gefahr und Exposition sind innerhalb eines Ereignisses unabhängigHält das Schadensintegral berechenbarMit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen
Kopplungen sind nahe dem Arbeitspunkt linearLässt Schocks sich über A ausbreitenÜber den linearen Bereich hinaus stören und vergleichen
Vulnerabilitätskurven lassen sich zwischen Orten übertragenLokale Kurven sind selten verfügbarAnhand beobachteter Schäden validieren, wo es sie gibt
Eingaben
versionierte Datensätze mit Herkunftsnachweis
Ergebnisse
Verteilungen, nie einzelne Zahlen
Code
mit Modellkarte und Tests veröffentlicht
Reproduktion
gleiche Daten, Code, Umgebung und Seed
Standardformulierungen für Risiko und Zustandsraum; die aufgeführten Annahmen sind für die Methode typisch und zur Prüfung benannt, keine Ergebnisse.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
Aktive Agenten mit aktuellem BefugnisnachweisAnteil aktiver AgentenwöchentlichAuthority registerDEKLARIERT
Am Richtlinien-Gate abgelehnte Tool-Aufrufecount per agent per periodtäglichProtokolle der Richtlinien-GatesBEOBACHTET
Zeit von der Aktivierung des Kill-Switch bis zum StoppSekundenper drill or eventGate- und LaufzeitprotokolleBEOBACHTET
Nach menschlicher Prüfung akzeptierte AgentenausgabenAnteil der ErgebnissemonatlichPrüfunterlagenBEOBACHTET
Bei der Freigabe offene Red-Team-BefundeAnzahl nach Schweregradje ModellversionEvaluierungsnachweiseBERICHTET
Unsupported claims found in sampled outputsAnzahl pro ProbemonatlichPrüfung durch GutachterBEOBACHTET
Agentenaktionen mit vollständigem BelegAnteil der MaßnahmentäglichBelegspeicherBEOBACHTET
07Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
AI Incident DatabaseDokumentierte reale KI-Ausfälle und -Schäden zur GefahrenidentifikationOffen, Nutzungsbedingungen der Datenbank
OECD AI Incidents MonitorReported AI incidents and hazards drawn from news sourcesBedingungen der OECD
MITRE ATLASTaktiken und Techniken von Angreifern gegen KI- SystemeKostenlos, Nutzungsbedingungen
OWASP Top 10 for large language model applicationsCommon vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF PlaybookSuggested actions for the govern, map, measure and manage functionsGemeinfrei
Mit offenen Modellen veröffentlichte ModellkartenVerwendungszweck, Evaluierung und bekannte Grenzen eines BasismodellsLizenz je Modell
08Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

Foundry bereitet Evidenz auf. Die nachstehenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln, nie die Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
AufsichtsinstitutionenOb ein Agent in ihrem Projekt handeln darf, mit welchen Werkzeugen und auf welchen DatenAutoritätsnachweis, Evaluierungsnachweis, offene Red-Team-Befunde
DateneigentümerWhether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
GutachterWhether an agent’s draft may be accepted into evidence or a reportNachweise, zitierte und geprüfte Quellen, Evidenzkennzeichnungen
Verantwortliche für KI-Governance und DatenschutzbehördenWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

Ergebnisse, die dieses Thema hervorbringt

  • Befugnisnachweise je Agent: Zweck, Werkzeuge, Datenklassen, Budget, Notaus und Aufsicht
  • Evaluations- und Red-Team-Aufzeichnungen bei jeder Freigabe
  • Belege für jede Agentenaktion
  • Labelled drafts that remain assertions until a person reviews them
09Kernfragen

Was KI- und Sicherheitsingenieure fragen.

  • Was genau darf dieser Agent tun, mit welchen Daten, in welchem Projekt?
  • Wie wurden der Agent und sein Modell für diesen Einsatz evaluiert, und von wem?
  • Lässt sich jede Handlung eines Agenten einer Identität, einer Konfiguration und einer beaufsichtigenden Institution zuordnen?
  • Wie schnell kann eine Person ihn stoppen, und wird dieser Stopp außerhalb des Agenten durchgesetzt?
10Mechanismen

Berechtigungsnachweise, Gates und Quittungen.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Die Bewertung kommt vor der Autorität.

  1. 01

    Vertragstests

    Integrations and agents are tested against their declared contracts before they receive authority in any tenant.

  2. 02

    Modellevaluierung

    Die Freigabe eines Modells erfordert Bewertungsaufzeichnungen, einschließlich der Red-Team-Ergebnisse, wo die Verwendung sie verlangt.

  3. 03

    Datennutzung

    Es werden keine Mandantendaten für das Training verwendet, ohne dass eine dokumentierte Entscheidung des Dateneigners vorliegt.

  4. 04

    Bekannte Grenzen

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agenten treffen niemals eine Entscheidung, die einer Institution oder einer zuständigen Behörde obliegt, geben keine Warnung aus, geben keine Mittel frei, entsenden keine Ressourcen, unterzeichnen keine Abnahme und stellen keinen Entwurf als geprüfte Evidenz dar.

12Methoden

Wie es untersucht wird und was die Methoden nicht sagen können.

  1. Künstliche Intelligenz und maschinelles LernenErdbeobachtungsmodelle mit räumlicher Validierung · Model Cards und FreigabeprotokolleHier angewandt
  2. Software- und sicherheitskritische SystemtechnikFail-closed-Richtlinienschranken · Build-Herkunft und Stücklisten · Assurance CasesHier angewandt
  3. SystemtechnikKanonisches Systeminventar · Contract-first-Schnittstellen · Auf Evidenz rückführbare AnforderungenHier angewandt
  4. Datentechnik, Interoperabilität und DatenverantwortungValidierung an der Einlesegrenze · Eingefrorene Datenstände für reproduzierbare ProdukteHier angewandt
13Where this page’s references

Where this page’s references lead.

Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.

14Fragen

Fragen und Antworten.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
Warum werden Berechtigungen außerhalb des Agenten durchgesetzt?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Werden Projektdaten zum Training von Modellen verwendet?
Nicht ohne eine dokumentierte Entscheidung des Dateneigners. Verwendungen für Training, Feinabstimmung und Evaluierung werden in den Quellbedingungen gesondert ausgewiesen.
Can I connect my own agent?
Der Zugang für Agenten und Integrationen soll zunächst für autorisierte Projekte geöffnet werden, nach Vertragstests gegen die deklarierten Werkzeuge und Geltungsbereiche.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

GCRIFoundryFoundry Build and Readiness
Foundry

Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.