Skip to content

GCRI · Foundry

智能体与自动化

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

01登记

Agents and automation on the record.

02问题

智能体与自动化:风险如何发展。

AI 工具、权限与风险控制。下方档案阐述风险如何发展、衡量什么、数据来自何处、如何建模以及由谁决定。

机制

工具的覆盖范围放大影响

智能体可调用的每一种工具,都会增加一条从模型错误通向现实影响的路径:查询、写入、发送消息或运行。风险随工具数量及其背后的权限而增长,而不只取决于模型本身。

机制

Instructions arrive in data

从网页、文档或数据集中检索的文本可能带有指令,智能体随后会执行这些指令。提示注入把普通内容变成控制通道,因此工具权限绝不能依赖智能体能否识别这种情况。

机制

流畅的错误看起来像证据

语言模型会生成自信、格式规范但可能有误的输出,包括虚构的引文和数字。未加标注的草稿一旦进入报告,就会借用报告以及签署者的权威。

机制

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03监测

工作区与作业控制台。

团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。

工作区与作业控制台

Agents and automation · Project space 12 · Cluster east

  • 运行中的作业
    31活跃
  • 排队等待,p50
    8分钟正常
  • 今日运行
    35924
  • 本月已用配额,%
    64关注
IllustrativeGCRI · Foundry

就业

J-86161洪水模型集合项目所有者00:37:12运行中
J-42787瓦片渲染,缩放级别 0 至 12GIS 工作空间00:02:40运行中
J-76872证据导出模型管理方00:00:47已完成
J-55145智能体工具调用批次智能体沙盒00:01:16策略拦截

政策事件

  1. 10:25关口代理调用需要人工批准
  2. 10:51信息运行记录已封存
  3. 11:34预警项目配额已达 80%
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04在五个领域中

Foundry 中的自动化旨在确保在每个领域都由人类主导。

05方法与证据

如何对智能体和自动化进行建模、衡量与测试。

模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。

模型、方程与假设

The model structure used for agents and automation, the assumptions it makes and how each is tested.

要素 i 的风险Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力
预期年度损失EAL = ∑k pk · Lkover events k with annual probability pk
耦合系统xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
假设为何制作如何检验
在一次事件中,危害与暴露相互独立使损失积分保持可计算与基于联合记录拟合的 copula 进行比较
耦合在工作点附近是线性的让冲击通过 A 传播在线性范围之外施加扰动并比较
脆弱性曲线可以在不同地点之间迁移使用很少有本地曲线可用在有观测损失的地方据此进行验证
输入
带溯源信息的版本化数据集
成果
分布,绝不是单一数字
代码
连同模型卡和测试一起发布
复现
相同的数据、代码、环境和随机种子
标准的风险与状态空间表述;所列假设是该方法的典型假设,供审查之用,并非结果。
FAIR 指导原则 · GO FAIR 和 FORCE11W3C PROV · 万维网联盟关于一致处理不确定性的指南 · IPCCCEOS 分析就绪数据 · 地球观测卫星委员会
06指标

衡量什么,以及衡量得如何。

每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。

指标单位节奏来源类型标签
持有现行授权记录的活跃代理活跃智能体比例每周权威登记册已声明
在策略关口被拒绝的工具调用count per agent per period每日政策闸门日志观测
Time from kill-switch activation to halt秒每次演练或事件闸口与运行时日志观测
经人工审核后接受的智能体输出产出占比每月评审记录观测
Red-team findings open at promotion按严重程度计数per model version评估记录已报告
Unsupported claims found in sampled outputscount per sample每月评审员审核观测
Agent actions with a complete receiptproportion of actions每日Receipt store观测
07来源

证据来自何处。

具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。

来源它提供什么许可类别
AI Incident DatabaseDocumented real-world AI failures and harms for hazard identification开放,数据库条款
OECD AI 事件监测Reported AI incidents and hazards drawn from news sources经合组织(OECD)条款
MITRE ATLAS针对 AI 系统免费,须遵守使用条款
OWASP 大语言模型应用十大风险(Top 10)Common vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF PlaybookSuggested actions for the govern, map, measure and manage functions公有领域
Model cards published with open models基础模型的预期用途、评估和已知局限按模型授予的许可
08决定

由谁决定,以及证据服务于什么。

Foundry 负责准备证据。以下决定由所列机构依其自身规则作出,绝不由平台作出。

谁来决定问题本页面服务的证据
监督机构智能体是否可在其项目中行动,使用哪些工具,处理哪些数据授权记录、评估记录、未决红队测试发现
数据所有方Whether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
评审人Whether an agent’s draft may be accepted into evidence or a report回执、所引用并经核对的来源、证据标签
人工智能治理负责人和数据保护机构Whether automated processing meets applicable law and the institution’s AI policy影响评估、日志、 人工监督 记录

该主题产生的产出

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • 每次晋级时的评估与红队记录
  • 每项智能体操作的回执
  • 带标签的草稿,在经人工审核之前仍属主张
09核心问题

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • 每一项智能体行动能否追溯到某个身份、某项配置和某个监督机构?
  • 一个人能多快将其停止,这种停止是否在智能体之外强制执行?
10机制

授权记录、关口与回执。

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11评估与局限

Evaluation comes before authority.

  1. 01

    契约测试

    集成和代理在任何租户中获得权限之前,须依据其声明的契约接受测试。

  2. 02

    模型评估

    Promotion of a model requires evaluation records, including red-team results where the use calls for them.

  3. 03

    Data use

    No tenant data is used for training without a recorded decision by the data owner.

  4. 04

    已知局限

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

智能体绝不代替机构或主管当局作出决定、发布预警、拨付资金、调派资源、签署验收,也不把草稿当作已审查的证据呈现。

12方法

如何研究,以及方法无法说明的内容。

  1. 人工智能与机器学习经空间验证的对地观测模型 · 模型卡与晋级记录在此应用
  2. 软件与安全关键系统工程失败即关闭的策略关口 · 构建来源追溯与物料清单 · 保证论证在此应用
  3. 系统工程规范系统清单 · 契约优先的接口 · 可追溯至证据的需求在此应用
  4. 数据工程、互操作性与数据管护导入边界处的验证 · 用于可复现产品的冻结数据切片在此应用
13Where this page’s references

Where this page’s references lead.

阅读本页时所对照的机构和文件。状态和版本会变化;每个链接都指向发布机构。

14问题

问题与解答。

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
为什么权限要在智能体之外强制执行?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
项目数据是否用于训练模型?
未经数据所有者作出记录在案的决定,不可以。训练、调优和评估用途在来源条款中分别声明。
Can I connect my own agent?
智能体与集成接入的设计是:先向获授权项目开放,并在针对已声明的工具和范围完成契约测试之后进行。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI区域任务最常用的 FoundryFoundry 构建与准备度
区域任务最常用的 Foundry

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.