GCRI · Foundry
エージェントと自動化
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agents and automation on the record.
エージェントと自動化: リスクがどのように発展するか。
AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Tool reach multiplies impact
Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.
Instructions arrive in data
ウェブページ、文書、データセットから取得したテキストには、エージェントがその後従う指示が含まれている場合があります。プロンプト・インジェクションは通常のコンテンツを制御経路に変えるため、ツールの権限は、エージェントがそれを見抜けるかどうかに決して依存させてはなりません。
流暢な誤りはエビデンスのように見える
Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
ワークスペースとジョブのコンソール。
このテーマを追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。
ワークスペースとジョブ・コンソール
エージェントと自動化 · プロジェクトスペース 12 · 東クラスター
- 実行中のジョブ31有効
- 待ち行列の待機時間、p508分平常
- 本日の実行35924
- クォータ使用率、今月の %64注視
雇用
| J-86161 | 洪水モデルのアンサンブル | プロジェクトの所有者 | 00:37:12 | 実行中 |
| J-42787 | タイル描画、ズーム 0 から 12 | GIS ワークスペース | 00:02:40 | 実行中 |
| J-76872 | エビデンスの書き出し | モデル・スチュワード | 00:00:47 | 完了 |
| J-55145 | エージェントのツール呼び出しバッチ | エージェントのサンドボックス | 00:01:16 | ポリシーによるブロック |
政策上の出来事
- 10:25ゲートエージェントの呼び出しに人による承認が必要
- 10:51情報実行記録を封印済み
- 11:34警告するプロジェクトのクォータが 80% に到達
Foundry の自動化は、あらゆる分野で人間が主導権を保てるように設計されている。
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- セキュリティおよび安全性のレビュー。
- Oversight design proposals.
エージェントと自動化をどのようにモデル化、測定、試験するか。
モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。
モデル、方程式、仮定
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 仮定 | 作られる理由 | 検証の方法 |
|---|---|---|
| 一つの事象の中では、ハザードとエクスポージャーは独立している | 損失の積分を扱いやすく保つ | 同時記録に当てはめたコピュラと比較 |
| 結合は動作点の近くで線形である | ショックを A を通じて伝播させる | 線形範囲を超えて摂動を与えて比較する |
| 脆弱性曲線は場所を越えて適用できる | 地域固有の曲線はめったに得られない | 観測された損失がある場合はそれに照らして検証 |
- 入力
- 来歴付きのバージョン管理されたデータセット
- 成果物
- 分布であり、単一の数値ではない
- コード
- モデルカードと試験とともに公開
- 再現
- 同じデータ、コード、環境、シード
何を、どの程度うまく測定しているか。
各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。
| 指標 | 単位 | 周期 | 出典の種類 | ラベル |
|---|---|---|---|---|
| 現行の権限記録を持つアクティブなエージェント | アクティブなエージェントの割合 | 毎週 | Authority register | 申告済み |
| ポリシーゲートで拒否されたツール呼び出し | エージェントごと・期間ごとの件数 | 日次 | Policy gate logs | 観測 |
| Time from kill-switch activation to halt | 秒 | 訓練または事象ごと | ゲートログとランタイムログ | 観測 |
| Agent outputs accepted after human review | 成果物に占める割合 | 月次 | 審査記録 | 観測 |
| Red-team findings open at promotion | 深刻度別の件数 | モデルのバージョンごと | 評価記録 | 報告値 |
| Unsupported claims found in sampled outputs | count per sample | 月次 | レビュー担当者による監査 | 観測 |
| Agent actions with a complete receipt | 行動の割合 | 日次 | Receipt store | 観測 |
エビデンスの出所。
名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。
| 出典 | 提供するもの | ライセンス区分 |
|---|---|---|
| AI Incident Database | Documented real-world AI failures and harms for hazard identification | オープン、データベースの利用条件 |
| OECD AI インシデント・モニター | Reported AI incidents and hazards drawn from news sources | OECD の条件 |
| MITRE ATLAS | AI システム | 無料、利用規約あり |
| 大規模言語モデルアプリケーション向け OWASP Top 10 | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF プレイブック | Suggested actions for the govern, map, measure and manage functions | パブリックドメイン |
| Model cards published with open models | Intended use, evaluation and known limits of a base model | Licence per model |
誰が決め、エビデンスが何に役立つか。
Foundry はエビデンスを準備します。以下の決定は、記載された当局がそれぞれの規則に基づいて行うものであり、プラットフォームが行うことは決してありません。
| 誰が決定するか | 質問 | このページが提供するエビデンス |
|---|---|---|
| 監督機関 | エージェントがそのプロジェクトで行動してよいか、どのツールで、どのデータに対して行うか | Authority record, evaluation record, open red-team findings |
| データ所有者 | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| 査読者 | Whether an agent’s draft may be accepted into evidence or a report | Receipts, sources cited and checked, evidence labels |
| AI ガバナンス責任者およびデータ保護当局 | Whether automated processing meets applicable law and the institution’s AI policy | 影響評価、ログ、 人間による監督 の記録 |
このトピックが生み出す成果物
- エージェントごとの権限記録:目的、ツール、データ区分、予算、キルスイッチ、監督者
- 各昇格時の評価とレッドチームの記録
- Receipts for every agent action
- Labelled drafts that remain assertions until a person reviews them
AI 技術者と安全工学の技術者からの質問。
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- エージェントのあらゆる行動は、ID、構成、監督機関に帰属させることができますか。
- 人はどれだけ迅速にそれを停止でき、その停止はエージェントの外部で強制されるか。
Authority records, gates and receipts.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
契約テスト
Integrations and agents are tested against their declared contracts before they receive authority in any tenant.
- 02
モデル評価
モデルを本番利用に昇格させるには、評価記録が必要です。用途によってレッドチームの結果が求められる場合は、それも含みます。
- 03
データの利用
No tenant data is used for training without a recorded decision by the data owner.
- 04
既知の限界
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.
どのように研究され、手法が言えないことは何か。
Where this page’s references lead.
このページの読解の基準となる機関と文書。状態と版は変わります。各リンクは発行機関へ移動します。
質問と回答。
Who is accountable for an agent’s output?
なぜ権限はエージェントの外部で強制されるのですか。
プロジェクトデータはモデルの学習に使われますか。
Can I connect my own agent?
このページからエビデンスを提供する。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
- メールゲートウェイ GW-GCRIこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 報告書GCRI貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
手法、データセット、または問いを持ち込んでください。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。