GCRI · Foundry
Agentes e automação
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agents and automation on the record.
Agentes e automação: como o risco se desenvolve.
Ferramentas de IA, autoridade e controles de risco. O dossiê abaixo expõe como o risco se desenvolve, o que é medido, de onde vêm os dados, como é modelado e quem decide.
Tool reach multiplies impact
Cada ferramenta que um agente pode acionar acrescenta um caminho entre um erro do modelo e um efeito real: uma consulta, uma gravação, uma mensagem, uma execução. O risco cresce com o número de ferramentas e com os privilégios por trás delas, não apenas com o modelo.
Instructions arrive in data
O texto obtido de uma página web, de um documento ou de um conjunto de dados pode conter instruções que o agente passa a seguir. A injeção de prompt transforma conteúdo comum em canal de controle, de modo que as permissões de ferramentas nunca devem depender de o agente reconhecê-la.
O erro fluente se parece com evidência
Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
Console de espaço de trabalho e tarefas.
A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.
Espaço de trabalho e consola de tarefas
Agents and automation · Project space 12 · Cluster east
- Tarefas em execução31Ativo
- Espera na fila, p508minNormal
- Execuções hoje35924
- Cota usada, % neste mês64Observar
Empregos
| J-86161 | Conjunto de modelos de cheias | Responsável pelo projeto | 00:37:12 | Em execução |
| J-42787 | Renderização de mosaicos, zoom 0 a 12 | Espaço de trabalho SIG | 00:02:40 | Em execução |
| J-76872 | Exportação de evidência | Guardião do modelo | 00:00:47 | Concluído |
| J-55145 | Lote de chamadas de ferramentas do agente | Ambiente isolado de agentes | 00:01:16 | Bloqueio por política |
Eventos políticos
- 10:25MarcoA chamada do agente precisa de aprovação humana
- 10:51InformaçãoRegistro de execução selado
- 11:34AlertarCota em 80 % para o projeto
A automação em Foundry foi concebida para manter os seres humanos no comando em todos os domínios.
- WaterIn practiceAutomated data checks flag anomalies for people to review.What a reader can checkReview logs
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- SaúdeNa práticaOs agentes nunca acessam dados pessoais de saúde sem fundamento.O que um leitor pode verificarRegistros de acesso
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Revisões de segurança e proteção.
- Oversight design proposals.
Como agentes e automação são modelados, medidos e testados.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo, equações e pressupostos
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamentoEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Pressuposto | Porque é feito | Como é testado |
|---|---|---|
| A ameaça e a exposição são independentes dentro de um evento | Mantém tratável o integral de perdas | Comparar com um ajuste de cópula sobre registros conjuntos |
| Os acoplamentos são lineares perto do ponto de funcionamento | Permite que os choques se propaguem através de A | Perturbar para além do intervalo linear e comparar |
| As curvas de vulnerabilidade transferem-se entre lugares | As curvas locais raramente estão disponíveis | Validar face às perdas observadas quando existam |
- Entradas
- conjuntos de dados versionados com proveniência
- Resultados
- distribuições, nunca números isolados
- Código
- publicado com a ficha de modelo e os testes
- Reprodução
- mesmos dados, código, ambiente e semente
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Agentes ativos com registro de autoridade vigente | proporção de agentes ativos | semanal | Registro de autoridades | DECLARADO |
| Chamadas de ferramentas negadas na etapa de controle de políticas | count per agent per period | diário | Policy gate logs | OBSERVADO |
| Tempo entre a ativação do kill-switch e a interrupção | segundos | per drill or event | Registros de etapas de controle e de execução | OBSERVADO |
| Agent outputs accepted after human review | proporção dos produtos | mensal | Registros de revisão | OBSERVADO |
| Red-team findings open at promotion | contagem por gravidade | por versão do modelo | Registros de avaliação | REPORTADO |
| Unsupported claims found in sampled outputs | count per sample | mensal | Auditoria do revisor | OBSERVADO |
| Agent actions with a complete receipt | proporção de ações | diário | Receipt store | OBSERVADO |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| AI Incident Database | Falhas e danos reais documentados de IA para a identificação de ameaças | Aberto, termos da base de dados |
| Monitor de Incidentes de IA da OCDE | Reported AI incidents and hazards drawn from news sources | Termos da OCDE |
| MITRE ATLAS | Táticas e técnicas de adversários contra sistemas | Gratuito, termos de uso |
| OWASP Top 10 para aplicações de grandes modelos de linguagem | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF Playbook | Suggested actions for the govern, map, measure and manage functions | Domínio público |
| Model cards published with open models | Intended use, evaluation and known limits of a base model | Licença por modelo |
Quem decide, e a que servem as evidências.
O Foundry prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, sob suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Instituições supervisoras | Whether an agent may act in their project, with which tools and on which data | Registro de autoridade, registro de avaliação, achados abertos de red team |
| Proprietários dos dados | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| Reviewers | Whether an agent’s draft may be accepted into evidence or a report | Recibos, fontes citadas e verificadas, rótulos de evidências |
| Responsáveis pela governança de IA e autoridades de proteção de dados | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
Produtos que este tema gera
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Registros de avaliação e de red team a cada promoção
- Receipts for every agent action
- Labelled drafts that remain assertions until a person reviews them
What AI and safety engineers ask.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- Toda ação de um agente pode ser atribuída a uma identidade, a uma configuração e a uma instituição supervisora?
- Com que rapidez uma pessoa consegue interrompê-lo, e essa interrupção é imposta fora do agente?
Authority records, gates and receipts.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
Teste de contrato
Integrações e agentes são testados em relação aos contratos declarados antes de receberem autoridade em qualquer tenant.
- 02
Avaliação de modelos
A promoção de um modelo exige registros de avaliação, incluindo resultados de red team quando o uso os requer.
- 03
Data use
Nenhum dado de locatário é usado para treinamento sem uma decisão registrada do proprietário dos dados.
- 04
Limites conhecidos
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Os agentes nunca tomam uma decisão que cabe a uma instituição ou a uma autoridade competente, nem emitem um alerta, liberam fundos, despacham recursos, assinam uma aceitação ou apresentam um rascunho como evidência revisada.
Como é estudado e o que os métodos não podem dizer.
- 01Inteligência artificial e aprendizado de máquinaModelos de observação da Terra com validação espacial · Fichas de modelos e registros de promoçãoAplicado aqui
- 02Engenharia de software e de sistemas críticos para a segurançaEtapas de controle de políticas com falha segura · Proveniência de builds e listas de materiais · Casos de garantiaAplicado aqui
- 03Engenharia de sistemasInventário canônico de sistemas · Interfaces com contrato em primeiro lugar · Requisitos rastreados até as evidênciasAplicado aqui
- 04Engenharia, interoperabilidade e gestão responsável de dadosValidação na fronteira de ingestão · Recortes de dados congelados para produtos reproduzíveisAplicado aqui
Where this page’s references lead.
Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.
Perguntas e respostas.
Who is accountable for an agent’s output?
Por que as permissões são aplicadas fora do agente?
Os dados do projeto são usados para treinar modelos?
Can I connect my own agent?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.