GCRI · Foundry
에이전트와 자동화
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agents and automation on the record.
Agents and automation: how the risk develops.
AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Tool reach multiplies impact
Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.
Instructions arrive in data
웹 페이지, 문서 또는 데이터셋에서 가져온 텍스트에는 에이전트가 이후 따르게 되는 지시가 담겨 있을 수 있습니다. 프롬프트 인젝션은 일반 콘텐츠를 제어 채널로 바꾸므로, 도구 권한은 에이전트가 이를 알아차리는 것에 결코 의존해서는 안 됩니다.
유창한 오류는 근거처럼 보입니다
Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
작업 공간 및 작업 콘솔.
팀이 이 주제를 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.
작업 공간과 작업 콘솔
Agents and automation · Project space 12 · Cluster east
- 실행 중인 작업31활성
- 대기열 대기 시간, p508분정상
- 오늘 실행35924
- 할당량 사용, 이번 달 %64주시
일자리
| J-86161 | 홍수 모형 앙상블 | 프로젝트 소유자 | 00:37:12 | 실행 중 |
| J-42787 | 타일 렌더링, 확대 0~12 | GIS 작업 공간 | 00:02:40 | 실행 중 |
| J-76872 | 증거 내보내기 | 모형 관리 주체 | 00:00:47 | 완료 |
| J-55145 | 에이전트 도구 호출 배치 | 에이전트 샌드박스 | 00:01:16 | 정책 차단 |
정책 사건
- 10:25관문에이전트 호출에 사람의 승인 필요
- 10:51정보실행 기록 봉인됨
- 11:34경고프로젝트 할당량 80% 도달
Foundry의 자동화는 모든 영역에서 사람이 주도권을 유지하도록 설계되어 있습니다.
- WaterIn practiceAutomated data checks flag anomalies for people to review.What a reader can checkReview logs
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- HealthIn practiceAgents never access personal health data without basis.What a reader can checkAccess logs
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Security and safety reviews.
- Oversight design proposals.
에이전트와 자동화를 어떻게 모델링하고 측정하며 시험하는지 다룹니다.
모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.
모형, 방정식 및 가정
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 가정 | 만드는 이유 | 시험 방법 |
|---|---|---|
| 한 사건 안에서 재해와 노출은 서로 독립적임 | 손실 적분을 다루기 쉽게 유지함 | 결합 기록에 적합한 코퓰러와 비교 |
| 결합은 운전점 근처에서 선형이다 | 충격이 A를 통해 전파되게 함 | 선형 범위를 넘어 섭동을 주고 비교하십시오 |
| 취약성 곡선은 장소 간에 옮겨 쓸 수 있다 | 지역 곡선은 거의 없다 | 관측된 손실이 있는 곳에서는 이에 대해 검증 |
- 투입 자료
- 출처 정보가 있는 버전 관리 데이터세트
- 산출물
- 분포이며 결코 단일 숫자가 아님
- 코드
- 모델 카드 및 시험과 함께 공개
- 재현
- 같은 데이터, 코드, 환경과 시드
측정되는 것과 그 정확도.
각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.
| 지표 | 단위 | 주기 | 출처 유형 | 라벨 |
|---|---|---|---|---|
| 현재 권한 기록이 있는 활성 에이전트 | 활성 에이전트 비율 | 매주 | Authority register | 신고됨 |
| 정책 게이트에서 거부된 도구 호출 | count per agent per period | 일별 | Policy gate logs | 관측 |
| Time from kill-switch activation to halt | 초 | 훈련 또는 사건당 | 게이트 및 런타임 로그 | 관측 |
| Agent outputs accepted after human review | 산출물 비율 | 월별 | 검토 기록 | 관측 |
| Red-team findings open at promotion | 심각도별 건수 | 모델 버전별 | 평가 기록 | 보고됨 |
| Unsupported claims found in sampled outputs | count per sample | 월별 | 검토자 감사 | 관측 |
| Agent actions with a complete receipt | proportion of actions | 일별 | Receipt store | 관측 |
근거의 출처.
이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.
| 출처 | 제공하는 것 | 라이선스 등급 |
|---|---|---|
| AI Incident Database | 재해 식별을 위한, 실제로 기록된 AI 실패 및 피해 사례 | Open, terms of the database |
| OECD AI 사고 모니터 | Reported AI incidents and hazards drawn from news sources | OECD의 약관 |
| MITRE ATLAS | Adversary tactics and techniques against AI systems | 무료, 이용 약관 |
| OWASP Top 10 for large language model applications | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF Playbook | Suggested actions for the govern, map, measure and manage functions | 퍼블릭 도메인 |
| Model cards published with open models | Intended use, evaluation and known limits of a base model | 모델별 라이선스 |
누가 결정하며 근거는 무엇에 쓰이는지.
Foundry는 근거를 준비합니다. 아래 결정은 명시된 기관이 각자의 규칙에 따라 내리며, 플랫폼이 내리는 것이 아닙니다.
| 결정 주체 | 질문 | 이 페이지가 제공하는 근거 |
|---|---|---|
| 감독 기관 | Whether an agent may act in their project, with which tools and on which data | Authority record, evaluation record, open red-team findings |
| 데이터 소유자 | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| Reviewers | Whether an agent’s draft may be accepted into evidence or a report | Receipts, sources cited and checked, evidence labels |
| AI 거버넌스 책임자 및 개인정보 보호 당국 | Whether automated processing meets applicable law and the institution’s AI policy | 영향평가, 로그, 인간의 감독 기록 |
이 주제가 생산하는 산출물
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Evaluation and red-team records at each promotion
- Receipts for every agent action
- Labelled drafts that remain assertions until a person reviews them
What AI and safety engineers ask.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- Can every agent action be attributed to an identity, a configuration and a supervising institution?
- How quickly can a person stop it, and is that stop enforced outside the agent?
Authority records, gates and receipts.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
Contract testing
통합 기능과 에이전트는 어떤 테넌트에서든 권한을 부여받기 전에 선언된 계약에 따라 시험됩니다.
- 02
모형 평가
모델을 승격하려면 용도에 따라 레드팀 결과를 포함한 평가 기록이 필요합니다.
- 03
Data use
No tenant data is used for training without a recorded decision by the data owner.
- 04
알려진 한계
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.
연구되는 방식과 방법이 말할 수 없는 것.
Where this page’s references lead.
이 페이지를 읽을 때 기준이 되는 기구와 문서. 상태와 판은 바뀌며, 각 링크는 발행 기구로 연결됩니다.
질문과 답변.
Who is accountable for an agent’s output?
권한은 왜 에이전트 외부에서 강제됩니까?
Is project data used to train models?
Can I connect my own agent?
이 페이지에서 증거를 기여하십시오.
Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.
- 이메일게이트웨이 GW-GCRI이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 보고서GCRI모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
방법, 데이터세트 또는 질문을 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.