Skip to content

GCRI · Foundry

에이전트와 자동화

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

02질문

Agents and automation: how the risk develops.

AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

메커니즘

Tool reach multiplies impact

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

메커니즘

Instructions arrive in data

웹 페이지, 문서 또는 데이터셋에서 가져온 텍스트에는 에이전트가 이후 따르게 되는 지시가 담겨 있을 수 있습니다. 프롬프트 인젝션은 일반 콘텐츠를 제어 채널로 바꾸므로, 도구 권한은 에이전트가 이를 알아차리는 것에 결코 의존해서는 안 됩니다.

메커니즘

유창한 오류는 근거처럼 보입니다

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

메커니즘

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03모니터링

작업 공간 및 작업 콘솔.

팀이 이 주제를 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.

작업 공간과 작업 콘솔

Agents and automation · Project space 12 · Cluster east

  • 실행 중인 작업
    31활성
  • 대기열 대기 시간, p50
    8분정상
  • 오늘 실행
    35924
  • 할당량 사용, 이번 달 %
    64주시
IllustrativeGCRI · Foundry

일자리

J-86161홍수 모형 앙상블프로젝트 소유자00:37:12실행 중
J-42787타일 렌더링, 확대 0~12GIS 작업 공간00:02:40실행 중
J-76872증거 내보내기모형 관리 주체00:00:47완료
J-55145에이전트 도구 호출 배치에이전트 샌드박스00:01:16정책 차단

정책 사건

  1. 10:25관문에이전트 호출에 사람의 승인 필요
  2. 10:51정보실행 기록 봉인됨
  3. 11:34경고프로젝트 할당량 80% 도달
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04다섯 도메인에서

Foundry의 자동화는 모든 영역에서 사람이 주도권을 유지하도록 설계되어 있습니다.

05방법과 근거

에이전트와 자동화를 어떻게 모델링하고 측정하며 시험하는지 다룹니다.

모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.

모형, 방정식 및 가정

The model structure used for agents and automation, the assumptions it makes and how each is tested.

요소 i의 리스크Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량
연간 기대 손실EAL = ∑k pk · Lkover events k with annual probability pk
결합 시스템xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
가정만드는 이유시험 방법
한 사건 안에서 재해와 노출은 서로 독립적임손실 적분을 다루기 쉽게 유지함결합 기록에 적합한 코퓰러와 비교
결합은 운전점 근처에서 선형이다충격이 A를 통해 전파되게 함선형 범위를 넘어 섭동을 주고 비교하십시오
취약성 곡선은 장소 간에 옮겨 쓸 수 있다지역 곡선은 거의 없다관측된 손실이 있는 곳에서는 이에 대해 검증
투입 자료
출처 정보가 있는 버전 관리 데이터세트
산출물
분포이며 결코 단일 숫자가 아님
코드
모델 카드 및 시험과 함께 공개
재현
같은 데이터, 코드, 환경과 시드
표준 리스크 및 상태공간 정식화로, 나열된 가정은 해당 방법에 일반적인 것이며 검토를 위해 명시한 것으로 결과가 아닙니다.
FAIR 지침 원칙 · GO FAIR와 FORCE11W3C PROV · 월드 와이드 웹 컨소시엄불확실성의 일관된 처리에 관한 지침 · IPCCCEOS 분석 준비 데이터(Analysis Ready Data) · 지구관측위성위원회
06지표

측정되는 것과 그 정확도.

각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.

지표단위주기출처 유형라벨
현재 권한 기록이 있는 활성 에이전트활성 에이전트 비율매주Authority register신고됨
정책 게이트에서 거부된 도구 호출count per agent per period일별Policy gate logs관측
Time from kill-switch activation to halt초훈련 또는 사건당게이트 및 런타임 로그관측
Agent outputs accepted after human review산출물 비율월별검토 기록관측
Red-team findings open at promotion심각도별 건수모델 버전별평가 기록보고됨
Unsupported claims found in sampled outputscount per sample월별검토자 감사관측
Agent actions with a complete receiptproportion of actions일별Receipt store관측
07출처

근거의 출처.

이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.

출처제공하는 것라이선스 등급
AI Incident Database재해 식별을 위한, 실제로 기록된 AI 실패 및 피해 사례Open, terms of the database
OECD AI 사고 모니터Reported AI incidents and hazards drawn from news sourcesOECD의 약관
MITRE ATLASAdversary tactics and techniques against AI systems무료, 이용 약관
OWASP Top 10 for large language model applicationsCommon vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF PlaybookSuggested actions for the govern, map, measure and manage functions퍼블릭 도메인
Model cards published with open modelsIntended use, evaluation and known limits of a base model모델별 라이선스
08결정

누가 결정하며 근거는 무엇에 쓰이는지.

Foundry는 근거를 준비합니다. 아래 결정은 명시된 기관이 각자의 규칙에 따라 내리며, 플랫폼이 내리는 것이 아닙니다.

결정 주체질문이 페이지가 제공하는 근거
감독 기관Whether an agent may act in their project, with which tools and on which dataAuthority record, evaluation record, open red-team findings
데이터 소유자Whether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
ReviewersWhether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
AI 거버넌스 책임자 및 개인정보 보호 당국Whether automated processing meets applicable law and the institution’s AI policy영향평가, 로그, 인간의 감독 기록

이 주제가 생산하는 산출물

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Evaluation and red-team records at each promotion
  • Receipts for every agent action
  • Labelled drafts that remain assertions until a person reviews them
09핵심 질문

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • Can every agent action be attributed to an identity, a configuration and a supervising institution?
  • How quickly can a person stop it, and is that stop enforced outside the agent?
10메커니즘

Authority records, gates and receipts.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Evaluation comes before authority.

  1. 01

    Contract testing

    통합 기능과 에이전트는 어떤 테넌트에서든 권한을 부여받기 전에 선언된 계약에 따라 시험됩니다.

  2. 02

    모형 평가

    모델을 승격하려면 용도에 따라 레드팀 결과를 포함한 평가 기록이 필요합니다.

  3. 03

    Data use

    No tenant data is used for training without a recorded decision by the data owner.

  4. 04

    알려진 한계

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.

12방법

연구되는 방식과 방법이 말할 수 없는 것.

  1. 인공지능과 머신러닝공간 검증을 거친 지구 관측 모델 · 모델 카드와 승격 기록이곳에서의 적용
  2. 소프트웨어 및 안전 핵심 시스템 공학실패 시 차단 정책 관문 · 빌드 출처 이력과 자재 명세서 · 보증 사례이곳에서의 적용
  3. 시스템 공학정본 시스템 목록 · 계약 우선 인터페이스 · 근거로 추적되는 요구사항이곳에서의 적용
  4. 데이터 엔지니어링, 상호운용성 및 데이터 관리수집 경계에서의 검증 · 재현 가능한 산출물을 위한 고정 데이터 스냅숏이곳에서의 적용
13Where this page’s references

Where this page’s references lead.

이 페이지를 읽을 때 기준이 되는 기구와 문서. 상태와 판은 바뀌며, 각 링크는 발행 기구로 연결됩니다.

14질문

질문과 답변.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
권한은 왜 에이전트 외부에서 강제됩니까?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Is project data used to train models?
Not without a recorded decision by the data owner. Training, tuning and evaluation uses are declared separately in the source terms.
Can I connect my own agent?
에이전트 및 통합 접근은 선언된 도구와 범위에 대한 계약 테스트를 거친 뒤, 승인된 프로젝트부터 개방하도록 설계되어 있습니다.
보고서기여하기

이 페이지에서 증거를 기여하십시오.

Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.

GCRI지역 임무에서 가장 많이 사용하는 FoundryFoundry 구축과 준비도
지역 임무에서 가장 많이 사용하는 Foundry

방법, 데이터세트 또는 질문을 가져오십시오.

정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.