GCRI · Foundry
Agenten und Automatisierung
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agents and automation on the record.
Agenten und Automatisierung: wie sich das Risiko entwickelt.
KI-Werkzeuge, Befugnisse und Risikokontrollen. Das nachstehende Dossier legt dar, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.
Die Reichweite von Werkzeugen vervielfacht die Wirkung
Jedes Werkzeug, das ein Agent aufrufen kann, schafft einen weiteren Pfad von einem Modellfehler zu einer realen Wirkung: einer Abfrage, einem Schreibvorgang, einer Nachricht, einem Ablauf. Das Risiko wächst mit der Zahl der Werkzeuge und der dahinterstehenden Berechtigungen, nicht allein mit dem Modell.
Anweisungen kommen in den Daten an
Text, der von einer Webseite, einem Dokument oder einem Datensatz abgerufen wird, kann Anweisungen enthalten, denen der Agent dann folgt. Prompt Injection macht gewöhnliche Inhalte zu einem Steuerkanal; daher dürfen Werkzeugberechtigungen niemals davon abhängen, dass der Agent dies erkennt.
Flüssig formulierte Fehler wirken wie Evidenz
Sprachmodelle erzeugen überzeugend wirkende, gut formatierte Ausgaben, die falsch sein können, darunter erfundene Quellenangaben und Zahlen. Sobald ein nicht gekennzeichneter Entwurf in einen Bericht gelangt, borgt er sich die Autorität des Berichts und der Personen, die ihn unterzeichnet haben.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
Konsole für Arbeitsbereich und Aufträge.
Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Arbeitsbereich und Jobkonsole
Agenten und Automatisierung · Projektraum 12 · Cluster Ost
- Laufende Aufträge31Aktiv
- Wartezeit in der Warteschlange, p508minNormal
- Läufe heute35924
- Kontingent genutzt, % in diesem Monat64Beobachtung
Arbeitsplätze
| J-86161 | Ensemble von Hochwassermodellen | Projektverantwortliche | 00:37:12 | Läuft |
| J-42787 | Kachel-Rendering, Zoom 0 bis 12 | GIS-Arbeitsbereich | 00:02:40 | Läuft |
| J-76872 | Evidenzexport | Modell-Sachwalter | 00:00:47 | Erledigt |
| J-55145 | Stapel von Agenten-Werkzeugaufrufen | Agenten-Sandbox | 00:01:16 | Richtlinienblock |
Politische Ereignisse
- 10:25MeilensteinAgentenaufruf erfordert menschliche Freigabe
- 10:51InfoRun record sealed
- 11:34WarnenKontingent bei 80 Prozent für das Projekt
Die Automatisierung in Foundry ist so konzipiert, dass in jeder Domäne der Mensch die Kontrolle behält.
- WasserIn der PraxisAutomatisierte Datenprüfungen markieren Auffälligkeiten zur Überprüfung durch Personen.Was Lesende prüfen könnenPrüfprotokolle
- EnergieIn der PraxisKeine automatisierte Aktion berührt ein reales System.Was Lesende prüfen könnenHandlungsgrenzen
- GesundheitIn der PraxisAgenten greifen niemals ohne Rechtsgrundlage auf personenbezogene Gesundheitsdaten zu.Was Lesende prüfen könnenZugriffsprotokolle
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Sicherheitsprüfungen und Prüfungen der Betriebssicherheit.
- Vorschläge zur Gestaltung der Aufsicht.
Wie Agenten und Automatisierung modelliert, gemessen und getestet werden.
Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.
Modell, Gleichungen und Annahmen
Die Modellstruktur für Agenten und Automatisierung, die ihr zugrunde liegenden Annahmen und wie jede davon getestet wird.
Ri = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und BewältigungskapazitätEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Annahme | Warum es entsteht | Wie es geprüft wird |
|---|---|---|
| Gefahr und Exposition sind innerhalb eines Ereignisses unabhängig | Hält das Schadensintegral berechenbar | Mit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen |
| Kopplungen sind nahe dem Arbeitspunkt linear | Lässt Schocks sich über A ausbreiten | Über den linearen Bereich hinaus stören und vergleichen |
| Vulnerabilitätskurven lassen sich zwischen Orten übertragen | Lokale Kurven sind selten verfügbar | Anhand beobachteter Schäden validieren, wo es sie gibt |
- Eingaben
- versionierte Datensätze mit Herkunftsnachweis
- Ergebnisse
- Verteilungen, nie einzelne Zahlen
- Code
- mit Modellkarte und Tests veröffentlicht
- Reproduktion
- gleiche Daten, Code, Umgebung und Seed
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Aktive Agenten mit aktuellem Befugnisnachweis | Anteil aktiver Agenten | wöchentlich | Authority register | DEKLARIERT |
| Am Richtlinien-Gate abgelehnte Tool-Aufrufe | count per agent per period | täglich | Protokolle der Richtlinien-Gates | BEOBACHTET |
| Zeit von der Aktivierung des Kill-Switch bis zum Stopp | Sekunden | per drill or event | Gate- und Laufzeitprotokolle | BEOBACHTET |
| Nach menschlicher Prüfung akzeptierte Agentenausgaben | Anteil der Ergebnisse | monatlich | Prüfunterlagen | BEOBACHTET |
| Bei der Freigabe offene Red-Team-Befunde | Anzahl nach Schweregrad | je Modellversion | Evaluierungsnachweise | BERICHTET |
| Unsupported claims found in sampled outputs | Anzahl pro Probe | monatlich | Prüfung durch Gutachter | BEOBACHTET |
| Agentenaktionen mit vollständigem Beleg | Anteil der Maßnahmen | täglich | Belegspeicher | BEOBACHTET |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| AI Incident Database | Dokumentierte reale KI-Ausfälle und -Schäden zur Gefahrenidentifikation | Offen, Nutzungsbedingungen der Datenbank |
| OECD AI Incidents Monitor | Reported AI incidents and hazards drawn from news sources | Bedingungen der OECD |
| MITRE ATLAS | Taktiken und Techniken von Angreifern gegen KI- Systeme | Kostenlos, Nutzungsbedingungen |
| OWASP Top 10 for large language model applications | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF Playbook | Suggested actions for the govern, map, measure and manage functions | Gemeinfrei |
| Mit offenen Modellen veröffentlichte Modellkarten | Verwendungszweck, Evaluierung und bekannte Grenzen eines Basismodells | Lizenz je Modell |
Wer entscheidet und wozu die Evidenz dient.
Foundry bereitet Evidenz auf. Die nachstehenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln, nie die Plattform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Aufsichtsinstitutionen | Ob ein Agent in ihrem Projekt handeln darf, mit welchen Werkzeugen und auf welchen Daten | Autoritätsnachweis, Evaluierungsnachweis, offene Red-Team-Befunde |
| Dateneigentümer | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| Gutachter | Whether an agent’s draft may be accepted into evidence or a report | Nachweise, zitierte und geprüfte Quellen, Evidenzkennzeichnungen |
| Verantwortliche für KI-Governance und Datenschutzbehörden | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
Ergebnisse, die dieses Thema hervorbringt
- Befugnisnachweise je Agent: Zweck, Werkzeuge, Datenklassen, Budget, Notaus und Aufsicht
- Evaluations- und Red-Team-Aufzeichnungen bei jeder Freigabe
- Belege für jede Agentenaktion
- Labelled drafts that remain assertions until a person reviews them
Was KI- und Sicherheitsingenieure fragen.
- Was genau darf dieser Agent tun, mit welchen Daten, in welchem Projekt?
- Wie wurden der Agent und sein Modell für diesen Einsatz evaluiert, und von wem?
- Lässt sich jede Handlung eines Agenten einer Identität, einer Konfiguration und einer beaufsichtigenden Institution zuordnen?
- Wie schnell kann eine Person ihn stoppen, und wird dieser Stopp außerhalb des Agenten durchgesetzt?
Berechtigungsnachweise, Gates und Quittungen.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Die Bewertung kommt vor der Autorität.
- 01
Vertragstests
Integrations and agents are tested against their declared contracts before they receive authority in any tenant.
- 02
Modellevaluierung
Die Freigabe eines Modells erfordert Bewertungsaufzeichnungen, einschließlich der Red-Team-Ergebnisse, wo die Verwendung sie verlangt.
- 03
Datennutzung
Es werden keine Mandantendaten für das Training verwendet, ohne dass eine dokumentierte Entscheidung des Dateneigners vorliegt.
- 04
Bekannte Grenzen
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Agenten treffen niemals eine Entscheidung, die einer Institution oder einer zuständigen Behörde obliegt, geben keine Warnung aus, geben keine Mittel frei, entsenden keine Ressourcen, unterzeichnen keine Abnahme und stellen keinen Entwurf als geprüfte Evidenz dar.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Künstliche Intelligenz und maschinelles LernenErdbeobachtungsmodelle mit räumlicher Validierung · Model Cards und FreigabeprotokolleHier angewandt
- 02Software- und sicherheitskritische SystemtechnikFail-closed-Richtlinienschranken · Build-Herkunft und Stücklisten · Assurance CasesHier angewandt
- 03SystemtechnikKanonisches Systeminventar · Contract-first-Schnittstellen · Auf Evidenz rückführbare AnforderungenHier angewandt
- 04Datentechnik, Interoperabilität und DatenverantwortungValidierung an der Einlesegrenze · Eingefrorene Datenstände für reproduzierbare ProdukteHier angewandt
Where this page’s references lead.
Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.
Fragen und Antworten.
Who is accountable for an agent’s output?
Warum werden Berechtigungen außerhalb des Agenten durchgesetzt?
Werden Projektdaten zum Training von Modellen verwendet?
Can I connect my own agent?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.