Skip to content

GCRI · Foundry

عامل‌ها و خودکارسازی

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

02پرسش

Agents and automation: how the risk develops.

AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

سازوکار

Tool reach multiplies impact

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

سازوکار

Instructions arrive in data

Text retrieved from a web page, a document or a dataset can carry instructions the agent then follows. Prompt injection turns ordinary content into a control channel, so tool permissions must never depend on the agent recognising it.

سازوکار

Fluent error looks like evidence

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

سازوکار

زنجیره‌های خودکارسازی

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03پایش

کنسول فضای کار و شغل.

صفحه‌ای که یک تیم برای پیگیری این موضوع به کار می‌برد: سنجه‌ها، وضعیت‌ها و تصمیم‌های آن. نام‌ها نمونه‌اند و مقادیر نمایشی.

کنسول فضای کار و شغل

Agents and automation · Project space 12 · Cluster east

  • کارهای در حال اجرا
    31فعال
  • انتظار در صف، p50
    8دقیقهعادی
  • اجراهای امروز
    35924
  • سهمیهٔ مصرف‌شده، ٪ این ماه
    64پایش
IllustrativeGCRI · Foundry

مشاغل

J-86161مجموعهٔ مدل‌های سیلمالک پروژه00:37:12در حال اجرا
J-42787ترسیم کاشی، بزرگ‌نمایی 0 تا 12فضای کار GIS00:02:40در حال اجرا
J-76872برون‌بری شواهدمتولی مدل00:00:47انجام‌شده
J-55145دستهٔ فراخوانی ابزار عاملجعبه‌شنی عامل00:01:16مسدودسازی سیاست

رویدادهای سیاستی

  1. 10:25دروازهفراخوانی عامل به تأیید انسان نیاز دارد
  2. 10:51اطلاعاتسابقهٔ اجرا مهروموم شد
  3. 11:34هشدارسهمیه در 80 درصد برای پروژه
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04در پنج دامنه

Automation in Foundry is designed to keep humans in charge in every domain.

05روش‌ها و شواهد

How agents and automation is modelled, measured and tested.

مدل، مفروضات، داده‌ها و عدم قطعیت آن، به شکلی که دانشمند یا مهندس بررسی می‌کند. ساختارها از روش‌های منتشرشده پیروی می‌کنند. مقادیر ترسیم‌شده تبیینی‌اند، نه یافته.

مدل، معادلات و مفروضات

The model structure used for agents and automation, the assumptions it makes and how each is tested.

ریسک عنصر iRi = f(Hi, Ei, Vi, Ci)مخاطره، مواجهه، آسیب‌پذیری و ظرفیت مقابله
زیان سالانهٔ مورد انتظارEAL = ∑k pk · Lkover events k with annual probability pk
سامانه‌های جفت‌شدهxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
فرضچرا ساخته می‌شودچگونه آزموده می‌شود
مخاطره و مواجهه در یک رویداد مستقل‌اندانتگرال زیان را تحت‌کنترل نگه می‌داردمقایسه با برازش مفصل بر سوابق مشترک
جفت‌شدگی‌ها نزدیک نقطهٔ کار خطی‌انداجازه می‌دهد شوک‌ها از طریق A منتشر شوندفراتر از دامنهٔ خطی آشفته کنید و مقایسه کنید
منحنی‌های آسیب‌پذیری میان مکان‌ها منتقل می‌شوندمنحنی‌های محلی به‌ندرت در دسترس‌انداعتبارسنجی در برابر زیان‌های مشاهده‌شده در جاهایی که وجود دارند
ورودی‌ها
مجموعه‌داده‌های نسخه‌دار با خاستگاه
خروجی‌ها
توزیع‌ها، هرگز تک‌رقم‌ها
کد
منتشرشده با کارت مدل و آزمون‌ها
بازتولید
همان داده، کد، محیط و بذر
فرمول‌بندی‌های استاندارد ریسک و فضای حالت؛ مفروضات فهرست‌شده نمونهٔ روش‌اند، برای داوری بیان شده‌اند و نتیجه نیستند.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06نشانگرها

چه چیزی اندازه‌گیری می‌شود و با چه کیفیتی.

هر نشانگر واحد، بسامد به‌روزرسانی، نوع منبع پشت آن و برچسب شواهدی را که یک مقدار می‌داشت، همراه دارد. هیچ مقداری نشان داده نمی‌شود: یک برنامه آن‌ها را تحت اختیار خود فراهم می‌کند.

نشانگرواحدتناوبنوع منبعبرچسب
Active agents with a current authority recordproportion of active agentsهفتگیAuthority registerDECLARED
Tool calls denied at the policy gatecount per agent per periodروزانهPolicy gate logsمشاهده‌شده
Time from kill-switch activation to haltثانیهبه ازای هر تمرین یا رویدادGate and runtime logsمشاهده‌شده
Agent outputs accepted after human reviewproportion of outputsماهانهسوابق داوریمشاهده‌شده
Red-team findings open at promotionتعداد بر حسب شدتper model versionسوابق ارزیابیگزارش‌شده
Unsupported claims found in sampled outputscount per sampleماهانهReviewer auditمشاهده‌شده
Agent actions with a complete receiptproportion of actionsروزانهReceipt storeمشاهده‌شده
07منابع

شواهد از کجا می‌آیند.

مجموعه‌داده‌های عمومی و سوابق نهادی نام‌برده، هر یک با ردهٔ پروانهٔ خود. منابع مبتنی بر توافق تنها بر پایهٔ شرایطشان به کار می‌روند و هرگز بازنشر نمی‌شوند.

منبعآنچه فراهم می‌کندرستهٔ پروانه
AI Incident Databaseشکست‌ها و زیان‌های مستند هوش مصنوعی در دنیای واقعی برای شناسایی مخاطرهOpen, terms of the database
OECD AI Incidents MonitorReported AI incidents and hazards drawn from news sourcesTerms of the OECD
MITRE ATLASAdversary tactics and techniques against AI systemsFree, terms of use
OWASP Top 10 برای کاربردهای مدل‌های زبانی بزرگCommon vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF PlaybookSuggested actions for the govern, map, measure and manage functionsمالکیت عمومی
Model cards published with open modelsIntended use, evaluation and known limits of a base modelپروانهٔ هر مدل
08تصمیم‌ها

چه کسی تصمیم می‌گیرد و شواهد در خدمت چیست.

Foundry شواهد را آماده می‌کند. تصمیم‌های زیر را مراجع نام‌برده، بر پایهٔ قواعد خودشان، اتخاذ می‌کنند و هرگز سکو تصمیم نمی‌گیرد.

چه کسی تصمیم می‌گیردپرسششواهدی که این صفحه به آن‌ها خدمت می‌کند
Supervising institutionsWhether an agent may act in their project, with which tools and on which dataسابقهٔ اختیار، سابقهٔ ارزیابی، یافته‌های باز تیم قرمز
مالکان دادهWhether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
ReviewersWhether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
مسئولان حکمرانی هوش مصنوعی و مراجع حفاظت از دادهWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

خروجی‌هایی که این موضوع تولید می‌کند

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Evaluation and red-team records at each promotion
  • Receipts for every agent action
  • Labelled drafts that remain assertions until a person reviews them
09پرسش‌های اصلی

آنچه مهندسان هوش مصنوعی و ایمنی می‌پرسند.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • آیا می‌توان هر اقدام عامل را به یک هویت، یک پیکربندی و یک نهاد ناظر منتسب کرد؟
  • How quickly can a person stop it, and is that stop enforced outside the agent?
10سازوکارها

Authority records, gates and receipts.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Evaluation comes before authority.

  1. 01

    Contract testing

    Integrations and agents are tested against their declared contracts before they receive authority in any tenant.

  2. 02

    ارزیابی مدل

    Promotion of a model requires evaluation records, including red-team results where the use calls for them.

  3. 03

    استفاده از داده

    No tenant data is used for training without a recorded decision by the data owner.

  4. 04

    محدودیت‌های شناخته‌شده

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.

12روش‌ها

چگونه مطالعه می‌شود و آنچه روش‌ها نمی‌توانند بگویند.

  1. هوش مصنوعی و یادگیری ماشینمدل‌های مشاهدهٔ زمین با اعتبارسنجی مکانی · کارت‌های مدل و سوابق ارتقاکاربرد در اینجا
  2. مهندسی نرم‌افزار و سامانه‌های حیاتی از نظر ایمنیدروازه‌های سیاستی با شکست بسته · خاستگاه ساخت و صورت‌حساب مواد · پرونده‌های اطمینان‌بخشیکاربرد در اینجا
  3. مهندسی سامانه‌هاسیاههٔ مرجع سامانه‌ها · رابط‌های قرارداد-محور · الزامات ردیابی‌شده تا شواهدکاربرد در اینجا
  4. مهندسی داده، هم‌کنشی‌پذیری و تولیتاعتبارسنجی در مرز دریافت · برش‌های ثابت داده برای فراورده‌های بازتولیدپذیرکاربرد در اینجا
13Where this page’s references

Where this page’s references lead.

نهادها و اسنادی که این صفحه بر پایهٔ آن‌ها خوانده می‌شود. وضعیت و ویراست‌ها تغییر می‌کنند؛ هر پیوند به نهاد صادرکننده می‌رود.

14پرسش‌ها

پرسش و پاسخ.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
Why are permissions enforced outside the agent?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Is project data used to train models?
Not without a recorded decision by the data owner. Training, tuning and evaluation uses are declared separately in the source terms.
آیا می‌توانم عامل خودم را متصل کنم؟
Agent and integration access is designed to open with authorised projects, after contract testing against the declared tools and scopes.
گزارش‌هامشارکت

شواهد را از همین صفحه ارسال کنید.

Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع می‌دانید می‌تواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.

GCRI⁨Foundry⁩ساخت و آمادگی Foundry
⁨Foundry⁩

یک روش، یک مجموعه‌داده یا یک پرسش بیاورید.

اطلاعات و درخواست‌ها امروز باز است. هر درخواست یک شمارهٔ پیگیری می‌گیرد و گام بعدی را مشخص می‌کند؛ درخواست‌های عضویت، پرداخت‌ها، تخصیص رایانش و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت داوری آن‌ها فراهم باشد.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.