Skip to content

GCRI · Foundry

Agentes y automatización

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

02La pregunta

Agentes y automatización: cómo se desarrolla el riesgo.

Herramientas de IA, autoridad y controles de riesgo. El expediente siguiente expone cómo se desarrolla el riesgo, qué se mide, de dónde proceden los datos, cómo se modelizan y quién decide.

Mecanismo

El alcance de las herramientas multiplica el impacto

Cada herramienta que un agente puede invocar añade una vía desde un error del modelo hasta un efecto real: una consulta, una escritura, un mensaje, una ejecución. El riesgo crece con el número de herramientas y los privilegios que las respaldan, no solo con el modelo.

Mecanismo

Las instrucciones llegan en los datos

El texto obtenido de una página web, un documento o un conjunto de datos puede contener instrucciones que el agente luego sigue. La inyección de instrucciones convierte el contenido ordinario en un canal de control, por lo que los permisos de las herramientas nunca deben depender de que el agente la reconozca.

Mecanismo

El error fluido parece evidencia

Los modelos de lenguaje producen resultados seguros y bien formateados que pueden ser erróneos, incluidas citas y cifras inventadas. Una vez que un borrador sin etiquetar entra en un informe, toma prestada la autoridad del informe y de las personas que lo firmaron.

Mecanismo

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03Seguimiento

Consola de espacio de trabajo y trabajos.

La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.

Espacio de trabajo y consola de tareas

Agentes y automatización · Espacio de proyecto 12 · Clúster este

  • Trabajos en ejecución
    31Activo
  • Espera en cola, p50
    8minNormal
  • Ejecuciones hoy
    35924
  • Cuota utilizada, % este mes
    64Vigilar
IllustrativeGCRI · Foundry

Empleos

J-86161Conjunto de modelos de inundaciónResponsable del proyecto00:37:12En ejecución
J-42787Renderizado de teselas, zoom 0 a 12Espacio de trabajo SIG00:02:40En ejecución
J-76872Exportación de evidenciaCustodio del modelo00:00:47Hecho
J-55145Lote de llamadas a herramientas del agenteEntorno aislado de agentes00:01:16Bloqueo por política

Eventos de política

  1. 10:25HitoLa llamada del agente requiere aprobación humana
  2. 10:51InfoRun record sealed
  3. 11:34AlertarCuota al 80 % para el proyecto
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04En los cinco dominios

La automatización en Foundry está diseñada para mantener a las personas al mando en todos los dominios.

05Métodos y evidencia

Cómo se modelan, miden y prueban los agentes y la automatización.

El modelo, sus supuestos, sus datos y su incertidumbre, en la forma en que un científico o un ingeniero los comprobaría. Las estructuras siguen métodos publicados. Los valores representados son ilustrativos, no hallazgos.

Modelo, ecuaciones y supuestos

The model structure used for agents and automation, the assumptions it makes and how each is tested.

Riesgo del elemento iRi = f(Hi, Ei, Vi, Ci)amenaza, exposición, vulnerabilidad y capacidad de afrontamiento
Pérdida anual esperadaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemas acopladosxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
SupuestoPor qué se haceCómo se prueba
La amenaza y la exposición son independientes dentro de un eventoMantiene manejable la integral de pérdidasComparar con un ajuste de cópula sobre registros conjuntos
Los acoplamientos son lineales cerca del punto de operaciónPermite que las perturbaciones se propaguen a través de APerturbar más allá del rango lineal y comparar
Las curvas de vulnerabilidad se transfieren entre lugaresLas curvas locales rara vez están disponiblesValidar frente a las pérdidas observadas cuando existan
Entradas
conjuntos de datos versionados con procedencia
Resultados
distribuciones, nunca cifras únicas
Código
publicado con la ficha de modelo y las pruebas
Reproducción
mismos datos, código, entorno y semilla
Formulaciones estándar de riesgo y de espacio de estados; los supuestos enumerados son los típicos del método, expuestos para su revisión, no resultados.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indicadores

Qué se mide y con qué calidad.

Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.

IndicadorUnidadCadenciaTipo de fuenteEtiqueta
Agentes activos con un registro de autoridad vigenteproporción de agentes activossemanalRegistro de autoridadesDECLARADO
Llamadas a herramientas denegadas en la puerta de políticascount per agent per perioddiarioPolicy gate logsOBSERVADO
Time from kill-switch activation to haltsegundospor simulacro o eventoRegistros de puertas y de ejecuciónOBSERVADO
Agent outputs accepted after human reviewproporción de los productosmensualRegistros de revisiónOBSERVADO
Red-team findings open at promotionrecuento por gravedadpor versión del modeloRegistros de evaluaciónNOTIFICADO
Unsupported claims found in sampled outputscount per samplemensualAuditoría del revisorOBSERVADO
Acciones de agentes con recibo completoproporción de accionesdiarioReceipt storeOBSERVADO
07Fuentes

De dónde procede la evidencia.

Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.

FuenteLo que aportaTipo de licencia
AI Incident DatabaseDocumented real-world AI failures and harms for hazard identificationOpen, terms of the database
Monitor de Incidentes de IA de la OCDEReported AI incidents and hazards drawn from news sourcesCondiciones de la OCDE
MITRE ATLASTácticas y técnicas de adversarios contra sistemasGratuito, condiciones de uso
OWASP Top 10 for large language model applicationsCommon vulnerability classes in language model and agent systemsCC BY-SA
Guía práctica del NIST AI RMFSuggested actions for the govern, map, measure and manage functionsDominio público
Model cards published with open modelsIntended use, evaluation and known limits of a base modelLicencia por modelo
08Decisiones

Quién decide y a qué sirve la evidencia.

Foundry prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.

Quién decideLa preguntaEvidencia a la que sirve esta página
Instituciones supervisorasWhether an agent may act in their project, with which tools and on which dataAuthority record, evaluation record, open red-team findings
Propietarios de los datosWhether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
ReviewersWhether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
Responsables de gobernanza de la IA y autoridades de protección de datosWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

Productos que genera este tema

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Registros de evaluación y de equipo rojo en cada promoción
  • Recibos de cada acción de los agentes
  • Labelled drafts that remain assertions until a person reviews them
09Cuestiones centrales

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • ¿Puede atribuirse cada acción de un agente a una identidad, una configuración y una institución supervisora?
  • ¿Con qué rapidez puede una persona detenerlo, y esa detención se aplica desde fuera del agente?
10Mecanismos

Registros de autoridad, puertas y recibos.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Evaluation comes before authority.

  1. 01

    Pruebas de contrato

    Las integraciones y los agentes se prueban con arreglo a sus contratos declarados antes de recibir autoridad en cualquier tenant.

  2. 02

    Evaluación de modelos

    La promoción de un modelo requiere registros de evaluación, incluidos los resultados de pruebas de red team cuando el uso así lo exija.

  3. 03

    Data use

    No se utilizan datos de los inquilinos para el entrenamiento sin una decisión registrada del propietario de los datos.

  4. 04

    Límites conocidos

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Los agentes nunca toman una decisión que corresponda a una institución o a una autoridad competente, ni emiten una alerta, liberan fondos, despachan recursos, firman una aceptación o presentan un borrador como evidencia revisada.

12Métodos

Cómo se estudia y lo que los métodos no pueden decir.

13Where this page’s references

Where this page’s references lead.

Los organismos y documentos con los que se lee esta página. El estado y las ediciones cambian; cada enlace lleva al organismo emisor.

14Preguntas

Preguntas y respuestas.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
¿Por qué se aplican los permisos fuera del agente?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
¿Se utilizan los datos del proyecto para entrenar modelos?
Not without a recorded decision by the data owner. Training, tuning and evaluation uses are declared separately in the source terms.
Can I connect my own agent?
El acceso de agentes e integraciones está diseñado para abrirse con proyectos autorizados, tras pruebas de contrato frente a las herramientas y los ámbitos declarados.
serie ReportsContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

GCRIFoundryFoundry Build and Readiness
Foundry

Aporte un método, un conjunto de datos o una pregunta.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.