GCRI · Foundry
智能体与自动化
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
智能体与自动化:风险如何发展。
AI 工具、权限与风险控制。下方档案阐述风险如何发展、衡量什么、数据来自何处、如何建模以及由谁决定。
工具的覆盖范围放大影响
智能体可调用的每一种工具,都会增加一条从模型错误通向现实影响的路径:查询、写入、发送消息或运行。风险随工具数量及其背后的权限而增长,而不只取决于模型本身。
Instructions arrive in data
从网页、文档或数据集中检索的文本可能带有指令,智能体随后会执行这些指令。提示注入把普通内容变成控制通道,因此工具权限绝不能依赖智能体能否识别这种情况。
流畅的错误看起来像证据
语言模型会生成自信、格式规范但可能有误的输出,包括虚构的引文和数字。未加标注的草稿一旦进入报告,就会借用报告以及签署者的权威。
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
工作区与作业控制台。
团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。
工作区与作业控制台
Agents and automation · Project space 12 · Cluster east
- 运行中的作业31活跃
- 排队等待,p508分钟正常
- 今日运行35924
- 本月已用配额,%64关注
就业
| J-86161 | 洪水模型集合 | 项目所有者 | 00:37:12 | 运行中 |
| J-42787 | 瓦片渲染,缩放级别 0 至 12 | GIS 工作空间 | 00:02:40 | 运行中 |
| J-76872 | 证据导出 | 模型管理方 | 00:00:47 | 已完成 |
| J-55145 | 智能体工具调用批次 | 智能体沙盒 | 00:01:16 | 策略拦截 |
政策事件
- 10:25关口代理调用需要人工批准
- 10:51信息运行记录已封存
- 11:34预警项目配额已达 80%
Foundry 中的自动化旨在确保在每个领域都由人类主导。
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- 安保与安全审查。
- 监督设计方案。
如何对智能体和自动化进行建模、衡量与测试。
模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。
模型、方程与假设
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 假设 | 为何制作 | 如何检验 |
|---|---|---|
| 在一次事件中,危害与暴露相互独立 | 使损失积分保持可计算 | 与基于联合记录拟合的 copula 进行比较 |
| 耦合在工作点附近是线性的 | 让冲击通过 A 传播 | 在线性范围之外施加扰动并比较 |
| 脆弱性曲线可以在不同地点之间迁移使用 | 很少有本地曲线可用 | 在有观测损失的地方据此进行验证 |
- 输入
- 带溯源信息的版本化数据集
- 成果
- 分布,绝不是单一数字
- 代码
- 连同模型卡和测试一起发布
- 复现
- 相同的数据、代码、环境和随机种子
衡量什么,以及衡量得如何。
每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。
| 指标 | 单位 | 节奏 | 来源类型 | 标签 |
|---|---|---|---|---|
| 持有现行授权记录的活跃代理 | 活跃智能体比例 | 每周 | 权威登记册 | 已声明 |
| 在策略关口被拒绝的工具调用 | count per agent per period | 每日 | 政策闸门日志 | 观测 |
| Time from kill-switch activation to halt | 秒 | 每次演练或事件 | 闸口与运行时日志 | 观测 |
| 经人工审核后接受的智能体输出 | 产出占比 | 每月 | 评审记录 | 观测 |
| Red-team findings open at promotion | 按严重程度计数 | per model version | 评估记录 | 已报告 |
| Unsupported claims found in sampled outputs | count per sample | 每月 | 评审员审核 | 观测 |
| Agent actions with a complete receipt | proportion of actions | 每日 | Receipt store | 观测 |
证据来自何处。
具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。
| 来源 | 它提供什么 | 许可类别 |
|---|---|---|
| AI Incident Database | Documented real-world AI failures and harms for hazard identification | 开放,数据库条款 |
| OECD AI 事件监测 | Reported AI incidents and hazards drawn from news sources | 经合组织(OECD)条款 |
| MITRE ATLAS | 针对 AI 系统 | 免费,须遵守使用条款 |
| OWASP 大语言模型应用十大风险(Top 10) | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF Playbook | Suggested actions for the govern, map, measure and manage functions | 公有领域 |
| Model cards published with open models | 基础模型的预期用途、评估和已知局限 | 按模型授予的许可 |
由谁决定,以及证据服务于什么。
Foundry 负责准备证据。以下决定由所列机构依其自身规则作出,绝不由平台作出。
| 谁来决定 | 问题 | 本页面服务的证据 |
|---|---|---|
| 监督机构 | 智能体是否可在其项目中行动,使用哪些工具,处理哪些数据 | 授权记录、评估记录、未决红队测试发现 |
| 数据所有方 | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| 评审人 | Whether an agent’s draft may be accepted into evidence or a report | 回执、所引用并经核对的来源、证据标签 |
| 人工智能治理负责人和数据保护机构 | Whether automated processing meets applicable law and the institution’s AI policy | 影响评估、日志、 人工监督 记录 |
该主题产生的产出
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- 每次晋级时的评估与红队记录
- 每项智能体操作的回执
- 带标签的草稿,在经人工审核之前仍属主张
What AI and safety engineers ask.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- 每一项智能体行动能否追溯到某个身份、某项配置和某个监督机构?
- 一个人能多快将其停止,这种停止是否在智能体之外强制执行?
授权记录、关口与回执。
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
契约测试
集成和代理在任何租户中获得权限之前,须依据其声明的契约接受测试。
- 02
模型评估
Promotion of a model requires evaluation records, including red-team results where the use calls for them.
- 03
Data use
No tenant data is used for training without a recorded decision by the data owner.
- 04
已知局限
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
智能体绝不代替机构或主管当局作出决定、发布预警、拨付资金、调派资源、签署验收,也不把草稿当作已审查的证据呈现。
Where this page’s references lead.
阅读本页时所对照的机构和文件。状态和版本会变化;每个链接都指向发布机构。
问题与解答。
Who is accountable for an agent’s output?
为什么权限要在智能体之外强制执行?
项目数据是否用于训练模型?
Can I connect my own agent?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件网关 GW-GCRI从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告GCRI查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。