Skip to content

GCRI · Foundry

エージェントと自動化

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

02質問

エージェントと自動化: リスクがどのように発展するか。

AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

メカニズム

Tool reach multiplies impact

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

メカニズム

Instructions arrive in data

ウェブページ、文書、データセットから取得したテキストには、エージェントがその後従う指示が含まれている場合があります。プロンプト・インジェクションは通常のコンテンツを制御経路に変えるため、ツールの権限は、エージェントがそれを見抜けるかどうかに決して依存させてはなりません。

メカニズム

流暢な誤りはエビデンスのように見える

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

メカニズム

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03監視

ワークスペースとジョブのコンソール。

このテーマを追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。

ワークスペースとジョブ・コンソール

エージェントと自動化 · プロジェクトスペース 12 · 東クラスター

  • 実行中のジョブ
    31有効
  • 待ち行列の待機時間、p50
    8分平常
  • 本日の実行
    35924
  • クォータ使用率、今月の %
    64注視
説明用GCRI・Foundry

雇用

J-86161洪水モデルのアンサンブルプロジェクトの所有者00:37:12実行中
J-42787タイル描画、ズーム 0 から 12GIS ワークスペース00:02:40実行中
J-76872エビデンスの書き出しモデル・スチュワード00:00:47完了
J-55145エージェントのツール呼び出しバッチエージェントのサンドボックス00:01:16ポリシーによるブロック

政策上の出来事

  1. 10:25ゲートエージェントの呼び出しに人による承認が必要
  2. 10:51情報実行記録を封印済み
  3. 11:34警告するプロジェクトのクォータが 80% に到達
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
045 つの分野において

Foundry の自動化は、あらゆる分野で人間が主導権を保てるように設計されている。

05手法とエビデンス

エージェントと自動化をどのようにモデル化、測定、試験するか。

モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。

モデル、方程式、仮定

The model structure used for agents and automation, the assumptions it makes and how each is tested.

要素 i のリスクRi = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力
年間期待損失EAL = ∑k pk · Lkover events k with annual probability pk
結合システムxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
仮定作られる理由検証の方法
一つの事象の中では、ハザードとエクスポージャーは独立している損失の積分を扱いやすく保つ同時記録に当てはめたコピュラと比較
結合は動作点の近くで線形であるショックを A を通じて伝播させる線形範囲を超えて摂動を与えて比較する
脆弱性曲線は場所を越えて適用できる地域固有の曲線はめったに得られない観測された損失がある場合はそれに照らして検証
入力
来歴付きのバージョン管理されたデータセット
成果物
分布であり、単一の数値ではない
コード
モデルカードと試験とともに公開
再現
同じデータ、コード、環境、シード
標準的なリスクおよび状態空間の定式化です。挙げた前提はこの手法に典型的なもので、審査のために示しており、結果ではありません。
FAIR 原則・GO FAIR と FORCE11W3C PROV・World Wide Web Consortium不確実性の一貫した扱いに関するガイダンス・IPCCCEOS 解析即応データ・地球観測衛星委員会
06指標

何を、どの程度うまく測定しているか。

各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。

指標単位周期出典の種類ラベル
現行の権限記録を持つアクティブなエージェントアクティブなエージェントの割合毎週Authority register申告済み
ポリシーゲートで拒否されたツール呼び出しエージェントごと・期間ごとの件数日次Policy gate logs観測
Time from kill-switch activation to halt秒訓練または事象ごとゲートログとランタイムログ観測
Agent outputs accepted after human review成果物に占める割合月次審査記録観測
Red-team findings open at promotion深刻度別の件数モデルのバージョンごと評価記録報告値
Unsupported claims found in sampled outputscount per sample月次レビュー担当者による監査観測
Agent actions with a complete receipt行動の割合日次Receipt store観測
07出典

エビデンスの出所。

名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。

出典提供するものライセンス区分
AI Incident DatabaseDocumented real-world AI failures and harms for hazard identificationオープン、データベースの利用条件
OECD AI インシデント・モニターReported AI incidents and hazards drawn from news sourcesOECD の条件
MITRE ATLASAI システム無料、利用規約あり
大規模言語モデルアプリケーション向け OWASP Top 10Common vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF プレイブックSuggested actions for the govern, map, measure and manage functionsパブリックドメイン
Model cards published with open modelsIntended use, evaluation and known limits of a base modelLicence per model
08決定

誰が決め、エビデンスが何に役立つか。

Foundry はエビデンスを準備します。以下の決定は、記載された当局がそれぞれの規則に基づいて行うものであり、プラットフォームが行うことは決してありません。

誰が決定するか質問このページが提供するエビデンス
監督機関エージェントがそのプロジェクトで行動してよいか、どのツールで、どのデータに対して行うかAuthority record, evaluation record, open red-team findings
データ所有者Whether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
査読者Whether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
AI ガバナンス責任者およびデータ保護当局Whether automated processing meets applicable law and the institution’s AI policy影響評価、ログ、 人間による監督 の記録

このトピックが生み出す成果物

  • エージェントごとの権限記録:目的、ツール、データ区分、予算、キルスイッチ、監督者
  • 各昇格時の評価とレッドチームの記録
  • Receipts for every agent action
  • Labelled drafts that remain assertions until a person reviews them
09中核となる問い

AI 技術者と安全工学の技術者からの質問。

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • エージェントのあらゆる行動は、ID、構成、監督機関に帰属させることができますか。
  • 人はどれだけ迅速にそれを停止でき、その停止はエージェントの外部で強制されるか。
10メカニズム

Authority records, gates and receipts.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11評価と限界

Evaluation comes before authority.

  1. 01

    契約テスト

    Integrations and agents are tested against their declared contracts before they receive authority in any tenant.

  2. 02

    モデル評価

    モデルを本番利用に昇格させるには、評価記録が必要です。用途によってレッドチームの結果が求められる場合は、それも含みます。

  3. 03

    データの利用

    No tenant data is used for training without a recorded decision by the data owner.

  4. 04

    既知の限界

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.

12手法

どのように研究され、手法が言えないことは何か。

13Where this page’s references

Where this page’s references lead.

このページの読解の基準となる機関と文書。状態と版は変わります。各リンクは発行機関へ移動します。

14質問

質問と回答。

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
なぜ権限はエージェントの外部で強制されるのですか。
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
プロジェクトデータはモデルの学習に使われますか。
データ所有者による記録された決定がない限り、認められません。学習、チューニング、評価への利用は、ソースの利用条件で個別に宣言されています。
Can I connect my own agent?
Agent and integration access is designed to open with authorised projects, after contract testing against the declared tools and scopes.
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

GCRI地域ミッションで最も多く使われる Foundry のFoundry の構築と準備度
地域ミッションで最も多く使われる Foundry の

手法、データセット、または問いを持ち込んでください。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.