Skip to content

GCRI · Foundry

Агенты и автоматизация

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

02Вопрос

Agents and automation: how the risk develops.

Инструменты ИИ, полномочия и меры контроля риска. В досье ниже изложено, как развивается риск, что измеряется, откуда берутся данные, как они моделируются и кто принимает решения.

Механизм

Охват инструментов многократно усиливает результат

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

Механизм

Инструкции поступают в данных

Текст, полученный с веб-страницы, из документа или набора данных, может содержать инструкции, которым затем последует агент. Внедрение промптов превращает обычное содержимое в канал управления, поэтому разрешения на использование инструментов никогда не должны зависеть от того, распознает ли его агент.

Механизм

Fluent error looks like evidence

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

Механизм

Цепочки автоматизации

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03Мониторинг

Рабочее пространство и консоль заданий.

Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.

Консоль рабочего пространства и заданий

Agents and automation · Project space 12 · Cluster east

  • Выполняемые задания
    31Активно
  • Ожидание в очереди, p50
    8минНорма
  • Запуски сегодня
    35924
  • Использованная квота, % за этот месяц
    64Наблюдение
IllustrativeGCRI · Foundry

Задания

J-86161Ансамбль моделей паводковВладелец проекта00:37:12Выполняется
J-42787Отрисовка тайлов, масштаб от 0 до 12Рабочее пространство ГИС00:02:40Выполняется
J-76872Экспорт: доказательная базаОтветственный за модель00:00:47Готово
J-55145Пакет вызовов инструментов агентаИзолированная среда агента00:01:16Блок политики

События политики

  1. 10:25Контрольная точкаВызов агента требует одобрения человека
  2. 10:51ИнформацияЗапись о выполнении опечатана
  3. 11:34ПредупредитьКвота проекта достигла 80 %
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04В пяти областях

Automation in Foundry is designed to keep humans in charge in every domain.

05Методы и доказательная база

How agents and automation is modelled, measured and tested.

Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.

Модель, уравнения и допущения

The model structure used for agents and automation, the assumptions it makes and how each is tested.

Риск элемента iRi = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагирования
Ожидаемый годовой ущербEAL = ∑k pk · Lkover events k with annual probability pk
Связанные системыxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
ДопущениеЗачем это создаётсяКак это проверяется
В пределах события опасность и подверженность независимыДелает интеграл убытков вычислимымСравнить с подгонкой копулы по совместным записям
Вблизи рабочей точки связи линейныПозволяет потрясениям распространяться через AВыйдите за пределы линейного диапазона и сравните
Кривые уязвимости переносятся между местамиМестные кривые редко доступныПроверять по наблюдаемым убыткам там, где они есть
Исходные данные
версионированные наборы данных с указанием происхождения
Результаты
распределения, а не отдельные числа
Код
выпускается вместе с карточкой модели и тестами
Воспроизведение
те же данные, код, среда и начальное значение
Стандартные формулировки риска и пространства состояний; перечисленные допущения типичны для метода и приведены для рецензирования, а не как результаты.
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
06Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Active agents with a current authority recordproportion of active agentsеженедельноAuthority registerЗАДЕКЛАРИРОВАНО
Tool calls denied at the policy gatecount per agent per periodежедневноPolicy gate logsНАБЛЮДАЕМО
Time from kill-switch activation to haltсекундыper drill or eventЖурналы шлюзов и среды выполненияНАБЛЮДАЕМО
Результаты работы агентов, принятые после проверки человекомproportion of outputsежемесячноЗаписи рецензированияНАБЛЮДАЕМО
Незакрытые выводы «красной команды» на момент повышения статусаколичество по степени тяжестиper model versionЗаписи оценкиСООБЩЕНО
Unsupported claims found in sampled outputscount per sampleежемесячноReviewer auditНАБЛЮДАЕМО
Agent actions with a complete receiptдоля действийежедневноReceipt storeНАБЛЮДАЕМО
07Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
AI Incident DatabaseЗадокументированные реальные сбои и вред от ИИ для выявления опасностейOpen, terms of the database
OECD AI Incidents MonitorReported AI incidents and hazards drawn from news sourcesTerms of the OECD
MITRE ATLASAdversary tactics and techniques against AI systemsБесплатно, условия использования
OWASP Top 10 for large language model applicationsРаспространённые классы уязвимостей в языковых моделях и агентных системахCC BY-SA
NIST AI RMF PlaybookSuggested actions for the govern, map, measure and manage functionsОбщественное достояние
Model cards published with open modelsIntended use, evaluation and known limits of a base modelLicence per model
08Решения

Кто принимает решения и чему служит доказательная база.

Foundry готовит доказательную базу. Перечисленные ниже решения принимают указанные органы в соответствии со своими правилами, и никогда не платформа.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Supervising institutionsМожет ли агент действовать в их проекте, с какими инструментами и на каких данныхЗапись о полномочиях, запись об оценке, открытые результаты проверок «красной команды»
Владельцы данныхWhether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
ReviewersWhether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
AI governance leads and data protection authoritiesWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

Результаты, которые даёт эта тема

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Записи оценки и проверки «красной командой» при каждом повышении уровня
  • Receipts for every agent action
  • Labelled drafts that remain assertions until a person reviews them
09Ключевые вопросы

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • Can every agent action be attributed to an identity, a configuration and a supervising institution?
  • How quickly can a person stop it, and is that stop enforced outside the agent?
10Механизмы

Authority records, gates and receipts.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Evaluation comes before authority.

  1. 01

    Тестирование контрактов

    Integrations and agents are tested against their declared contracts before they receive authority in any tenant.

  2. 02

    Оценка моделей

    Promotion of a model requires evaluation records, including red-team results where the use calls for them.

  3. 03

    Использование данных

    Данные арендаторов не используются для обучения без зафиксированного решения владельца данных.

  4. 04

    Известные ограничения

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.

12Методы

Как это изучается и чего методы не могут сказать.

  1. Искусственный интеллект и машинное обучениеМодели наблюдения Земли с пространственной валидацией · Карточки моделей и записи о продвиженииПрименяется здесь
  2. Инженерия программного обеспечения и систем, критичных для безопасностиПолитические шлюзы с блокировкой при сбое · Происхождение сборок и спецификации компонентов · Обоснования для обеспечения уверенностиПрименяется здесь
  3. Системная инженерияКанонический реестр систем · Интерфейсы, определяемые контрактом · Требования, прослеживаемые до доказательной базыПрименяется здесь
  4. Инженерия данных, интероперабельность и управление даннымиВалидация на границе загрузки · Зафиксированные срезы данных для воспроизводимых продуктовПрименяется здесь
13Where this page’s references

Where this page’s references lead.

Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.

14Вопросы

Вопросы и ответы.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
Why are permissions enforced outside the agent?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Is project data used to train models?
Not without a recorded decision by the data owner. Training, tuning and evaluation uses are declared separately in the source terms.
Can I connect my own agent?
Agent and integration access is designed to open with authorised projects, after contract testing against the declared tools and scopes.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

GCRIFoundryFoundry Build and Readiness
Foundry

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.