Skip to content

GCRI · Foundry

Agentes e automação

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

02A pergunta

Agentes e automação: como o risco se desenvolve.

Ferramentas de IA, autoridade e controles de risco. O dossiê abaixo expõe como o risco se desenvolve, o que é medido, de onde vêm os dados, como é modelado e quem decide.

Mecanismo

Tool reach multiplies impact

Cada ferramenta que um agente pode acionar acrescenta um caminho entre um erro do modelo e um efeito real: uma consulta, uma gravação, uma mensagem, uma execução. O risco cresce com o número de ferramentas e com os privilégios por trás delas, não apenas com o modelo.

Mecanismo

Instructions arrive in data

O texto obtido de uma página web, de um documento ou de um conjunto de dados pode conter instruções que o agente passa a seguir. A injeção de prompt transforma conteúdo comum em canal de controle, de modo que as permissões de ferramentas nunca devem depender de o agente reconhecê-la.

Mecanismo

O erro fluente se parece com evidência

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

Mecanismo

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03Monitoramento

Console de espaço de trabalho e tarefas.

A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.

Espaço de trabalho e consola de tarefas

Agents and automation · Project space 12 · Cluster east

  • Tarefas em execução
    31Ativo
  • Espera na fila, p50
    8minNormal
  • Execuções hoje
    35924
  • Cota usada, % neste mês
    64Observar
IllustrativeGCRI · Foundry

Empregos

J-86161Conjunto de modelos de cheiasResponsável pelo projeto00:37:12Em execução
J-42787Renderização de mosaicos, zoom 0 a 12Espaço de trabalho SIG00:02:40Em execução
J-76872Exportação de evidênciaGuardião do modelo00:00:47Concluído
J-55145Lote de chamadas de ferramentas do agenteAmbiente isolado de agentes00:01:16Bloqueio por política

Eventos políticos

  1. 10:25MarcoA chamada do agente precisa de aprovação humana
  2. 10:51InformaçãoRegistro de execução selado
  3. 11:34AlertarCota em 80 % para o projeto
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04Nos cinco domínios

A automação em Foundry foi concebida para manter os seres humanos no comando em todos os domínios.

05Métodos e evidência

Como agentes e automação são modelados, medidos e testados.

O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.

Modelo, equações e pressupostos

The model structure used for agents and automation, the assumptions it makes and how each is tested.

Risco do elemento iRi = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamento
Perda anual esperadaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemas acopladosxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
PressupostoPorque é feitoComo é testado
A ameaça e a exposição são independentes dentro de um eventoMantém tratável o integral de perdasComparar com um ajuste de cópula sobre registros conjuntos
Os acoplamentos são lineares perto do ponto de funcionamentoPermite que os choques se propaguem através de APerturbar para além do intervalo linear e comparar
As curvas de vulnerabilidade transferem-se entre lugaresAs curvas locais raramente estão disponíveisValidar face às perdas observadas quando existam
Entradas
conjuntos de dados versionados com proveniência
Resultados
distribuições, nunca números isolados
Código
publicado com a ficha de modelo e os testes
Reprodução
mesmos dados, código, ambiente e semente
Formulações padrão de risco e de espaço de estados; os pressupostos listados são típicos do método, indicados para revisão, não resultados.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Agentes ativos com registro de autoridade vigenteproporção de agentes ativossemanalRegistro de autoridadesDECLARADO
Chamadas de ferramentas negadas na etapa de controle de políticascount per agent per perioddiárioPolicy gate logsOBSERVADO
Tempo entre a ativação do kill-switch e a interrupçãosegundosper drill or eventRegistros de etapas de controle e de execuçãoOBSERVADO
Agent outputs accepted after human reviewproporção dos produtosmensalRegistros de revisãoOBSERVADO
Red-team findings open at promotioncontagem por gravidadepor versão do modeloRegistros de avaliaçãoREPORTADO
Unsupported claims found in sampled outputscount per samplemensalAuditoria do revisorOBSERVADO
Agent actions with a complete receiptproporção de açõesdiárioReceipt storeOBSERVADO
07Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
AI Incident DatabaseFalhas e danos reais documentados de IA para a identificação de ameaçasAberto, termos da base de dados
Monitor de Incidentes de IA da OCDEReported AI incidents and hazards drawn from news sourcesTermos da OCDE
MITRE ATLASTáticas e técnicas de adversários contra sistemasGratuito, termos de uso
OWASP Top 10 para aplicações de grandes modelos de linguagemCommon vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF PlaybookSuggested actions for the govern, map, measure and manage functionsDomínio público
Model cards published with open modelsIntended use, evaluation and known limits of a base modelLicença por modelo
08Decisões

Quem decide, e a que servem as evidências.

O Foundry prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, sob suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
Instituições supervisorasWhether an agent may act in their project, with which tools and on which dataRegistro de autoridade, registro de avaliação, achados abertos de red team
Proprietários dos dadosWhether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
ReviewersWhether an agent’s draft may be accepted into evidence or a reportRecibos, fontes citadas e verificadas, rótulos de evidências
Responsáveis pela governança de IA e autoridades de proteção de dadosWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

Produtos que este tema gera

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Registros de avaliação e de red team a cada promoção
  • Receipts for every agent action
  • Labelled drafts that remain assertions until a person reviews them
09Questões centrais

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • Toda ação de um agente pode ser atribuída a uma identidade, a uma configuração e a uma instituição supervisora?
  • Com que rapidez uma pessoa consegue interrompê-lo, e essa interrupção é imposta fora do agente?
10Mecanismos

Authority records, gates and receipts.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Avaliação e limites

Evaluation comes before authority.

  1. 01

    Teste de contrato

    Integrações e agentes são testados em relação aos contratos declarados antes de receberem autoridade em qualquer tenant.

  2. 02

    Avaliação de modelos

    A promoção de um modelo exige registros de avaliação, incluindo resultados de red team quando o uso os requer.

  3. 03

    Data use

    Nenhum dado de locatário é usado para treinamento sem uma decisão registrada do proprietário dos dados.

  4. 04

    Limites conhecidos

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Os agentes nunca tomam uma decisão que cabe a uma instituição ou a uma autoridade competente, nem emitem um alerta, liberam fundos, despacham recursos, assinam uma aceitação ou apresentam um rascunho como evidência revisada.

12Métodos

Como é estudado e o que os métodos não podem dizer.

13Where this page’s references

Where this page’s references lead.

Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.

14Perguntas

Perguntas e respostas.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
Por que as permissões são aplicadas fora do agente?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Os dados do projeto são usados para treinar modelos?
Not without a recorded decision by the data owner. Training, tuning and evaluation uses are declared separately in the source terms.
Can I connect my own agent?
O acesso de agentes e integrações foi concebido para ser aberto a projetos autorizados, após testes de contrato com as ferramentas e os escopos declarados.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

GCRIFoundryFoundry Build and Readiness
Foundry

Traga um método, um conjunto de dados ou uma pergunta.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.