GCRI · Foundry
Agentes y automatización
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agentes y automatización en el registro.
Agentes y automatización: cómo se desarrolla el riesgo.
Herramientas de IA, autoridad y controles de riesgo. El expediente siguiente expone cómo se desarrolla el riesgo, qué se mide, de dónde proceden los datos, cómo se modelizan y quién decide.
El alcance de las herramientas multiplica el impacto
Cada herramienta que un agente puede invocar añade una vía desde un error del modelo hasta un efecto real: una consulta, una escritura, un mensaje, una ejecución. El riesgo crece con el número de herramientas y los privilegios que las respaldan, no solo con el modelo.
Las instrucciones llegan en los datos
El texto obtenido de una página web, un documento o un conjunto de datos puede contener instrucciones que el agente luego sigue. La inyección de instrucciones convierte el contenido ordinario en un canal de control, por lo que los permisos de las herramientas nunca deben depender de que el agente la reconozca.
El error fluido parece evidencia
Los modelos de lenguaje producen resultados seguros y bien formateados que pueden ser erróneos, incluidas citas y cifras inventadas. Una vez que un borrador sin etiquetar entra en un informe, toma prestada la autoridad del informe y de las personas que lo firmaron.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
Consola de espacio de trabajo y trabajos.
La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.
Espacio de trabajo y consola de tareas
Agentes y automatización · Espacio de proyecto 12 · Clúster este
- Trabajos en ejecución31Activo
- Espera en cola, p508minNormal
- Ejecuciones hoy35924
- Cuota utilizada, % este mes64Vigilar
Empleos
| J-86161 | Conjunto de modelos de inundación | Responsable del proyecto | 00:37:12 | En ejecución |
| J-42787 | Renderizado de teselas, zoom 0 a 12 | Espacio de trabajo SIG | 00:02:40 | En ejecución |
| J-76872 | Exportación de evidencia | Custodio del modelo | 00:00:47 | Hecho |
| J-55145 | Lote de llamadas a herramientas del agente | Entorno aislado de agentes | 00:01:16 | Bloqueo por política |
Eventos de política
- 10:25HitoLa llamada del agente requiere aprobación humana
- 10:51InfoRun record sealed
- 11:34AlertarCuota al 80 % para el proyecto
La automatización en Foundry está diseñada para mantener a las personas al mando en todos los dominios.
- WaterIn practiceAutomated data checks flag anomalies for people to review.What a reader can checkReview logs
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- SaludEn la prácticaLos agentes nunca acceden a datos personales de salud sin una base legítima.Lo que un lector puede comprobarRegistros de acceso
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Security and safety reviews.
- Propuestas de diseño de supervisión.
Cómo se modelan, miden y prueban los agentes y la automatización.
El modelo, sus supuestos, sus datos y su incertidumbre, en la forma en que un científico o un ingeniero los comprobaría. Las estructuras siguen métodos publicados. Los valores representados son ilustrativos, no hallazgos.
Modelo, ecuaciones y supuestos
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)amenaza, exposición, vulnerabilidad y capacidad de afrontamientoEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Supuesto | Por qué se hace | Cómo se prueba |
|---|---|---|
| La amenaza y la exposición son independientes dentro de un evento | Mantiene manejable la integral de pérdidas | Comparar con un ajuste de cópula sobre registros conjuntos |
| Los acoplamientos son lineales cerca del punto de operación | Permite que las perturbaciones se propaguen a través de A | Perturbar más allá del rango lineal y comparar |
| Las curvas de vulnerabilidad se transfieren entre lugares | Las curvas locales rara vez están disponibles | Validar frente a las pérdidas observadas cuando existan |
- Entradas
- conjuntos de datos versionados con procedencia
- Resultados
- distribuciones, nunca cifras únicas
- Código
- publicado con la ficha de modelo y las pruebas
- Reproducción
- mismos datos, código, entorno y semilla
Qué se mide y con qué calidad.
Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.
| Indicador | Unidad | Cadencia | Tipo de fuente | Etiqueta |
|---|---|---|---|---|
| Agentes activos con un registro de autoridad vigente | proporción de agentes activos | semanal | Registro de autoridades | DECLARADO |
| Llamadas a herramientas denegadas en la puerta de políticas | count per agent per period | diario | Policy gate logs | OBSERVADO |
| Time from kill-switch activation to halt | segundos | por simulacro o evento | Registros de puertas y de ejecución | OBSERVADO |
| Agent outputs accepted after human review | proporción de los productos | mensual | Registros de revisión | OBSERVADO |
| Red-team findings open at promotion | recuento por gravedad | por versión del modelo | Registros de evaluación | NOTIFICADO |
| Unsupported claims found in sampled outputs | count per sample | mensual | Auditoría del revisor | OBSERVADO |
| Acciones de agentes con recibo completo | proporción de acciones | diario | Receipt store | OBSERVADO |
De dónde procede la evidencia.
Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.
| Fuente | Lo que aporta | Tipo de licencia |
|---|---|---|
| AI Incident Database | Documented real-world AI failures and harms for hazard identification | Open, terms of the database |
| Monitor de Incidentes de IA de la OCDE | Reported AI incidents and hazards drawn from news sources | Condiciones de la OCDE |
| MITRE ATLAS | Tácticas y técnicas de adversarios contra sistemas | Gratuito, condiciones de uso |
| OWASP Top 10 for large language model applications | Common vulnerability classes in language model and agent systems | CC BY-SA |
| Guía práctica del NIST AI RMF | Suggested actions for the govern, map, measure and manage functions | Dominio público |
| Model cards published with open models | Intended use, evaluation and known limits of a base model | Licencia por modelo |
Quién decide y a qué sirve la evidencia.
Foundry prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.
| Quién decide | La pregunta | Evidencia a la que sirve esta página |
|---|---|---|
| Instituciones supervisoras | Whether an agent may act in their project, with which tools and on which data | Authority record, evaluation record, open red-team findings |
| Propietarios de los datos | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| Reviewers | Whether an agent’s draft may be accepted into evidence or a report | Receipts, sources cited and checked, evidence labels |
| Responsables de gobernanza de la IA y autoridades de protección de datos | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
Productos que genera este tema
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Registros de evaluación y de equipo rojo en cada promoción
- Recibos de cada acción de los agentes
- Labelled drafts that remain assertions until a person reviews them
What AI and safety engineers ask.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- ¿Puede atribuirse cada acción de un agente a una identidad, una configuración y una institución supervisora?
- ¿Con qué rapidez puede una persona detenerlo, y esa detención se aplica desde fuera del agente?
Registros de autoridad, puertas y recibos.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
Pruebas de contrato
Las integraciones y los agentes se prueban con arreglo a sus contratos declarados antes de recibir autoridad en cualquier tenant.
- 02
Evaluación de modelos
La promoción de un modelo requiere registros de evaluación, incluidos los resultados de pruebas de red team cuando el uso así lo exija.
- 03
Data use
No se utilizan datos de los inquilinos para el entrenamiento sin una decisión registrada del propietario de los datos.
- 04
Límites conocidos
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Los agentes nunca toman una decisión que corresponda a una institución o a una autoridad competente, ni emiten una alerta, liberan fondos, despachan recursos, firman una aceptación o presentan un borrador como evidencia revisada.
Cómo se estudia y lo que los métodos no pueden decir.
- 01Inteligencia artificial y aprendizaje automáticoModelos de observación de la Tierra con validación espacial · Fichas de modelos y registros de promociónAplicado aquí
- 02Ingeniería de software y de sistemas críticos para la seguridadPuertas de política de cierre seguro · Procedencia de las compilaciones y listas de materiales · Casos de aseguramientoAplicado aquí
- 03Ingeniería de sistemasInventario canónico de sistemas · Interfaces basadas en contratos · Requisitos vinculados a la evidenciaAplicado aquí
- 04Ingeniería, interoperabilidad y custodia de datosValidación en el límite de la ingesta · Cortes de datos congelados para productos reproduciblesAplicado aquí
Where this page’s references lead.
Los organismos y documentos con los que se lee esta página. El estado y las ediciones cambian; cada enlace lleva al organismo emisor.
Preguntas y respuestas.
Who is accountable for an agent’s output?
¿Por qué se aplican los permisos fuera del agente?
¿Se utilizan los datos del proyecto para entrenar modelos?
Can I connect my own agent?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GCRIEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- serie ReportsGCRIVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Aporte un método, un conjunto de datos o una pregunta.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.