GCRI · Foundry
عاملها و خودکارسازی
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agents and automation on the record.
Agents and automation: how the risk develops.
AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Tool reach multiplies impact
Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.
Instructions arrive in data
Text retrieved from a web page, a document or a dataset can carry instructions the agent then follows. Prompt injection turns ordinary content into a control channel, so tool permissions must never depend on the agent recognising it.
Fluent error looks like evidence
Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.
زنجیرههای خودکارسازی
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
کنسول فضای کار و شغل.
صفحهای که یک تیم برای پیگیری این موضوع به کار میبرد: سنجهها، وضعیتها و تصمیمهای آن. نامها نمونهاند و مقادیر نمایشی.
کنسول فضای کار و شغل
Agents and automation · Project space 12 · Cluster east
- کارهای در حال اجرا31فعال
- انتظار در صف، p508دقیقهعادی
- اجراهای امروز35924
- سهمیهٔ مصرفشده، ٪ این ماه64پایش
مشاغل
| J-86161 | مجموعهٔ مدلهای سیل | مالک پروژه | 00:37:12 | در حال اجرا |
| J-42787 | ترسیم کاشی، بزرگنمایی 0 تا 12 | فضای کار GIS | 00:02:40 | در حال اجرا |
| J-76872 | برونبری شواهد | متولی مدل | 00:00:47 | انجامشده |
| J-55145 | دستهٔ فراخوانی ابزار عامل | جعبهشنی عامل | 00:01:16 | مسدودسازی سیاست |
رویدادهای سیاستی
- 10:25دروازهفراخوانی عامل به تأیید انسان نیاز دارد
- 10:51اطلاعاتسابقهٔ اجرا مهروموم شد
- 11:34هشدارسهمیه در 80 درصد برای پروژه
Automation in Foundry is designed to keep humans in charge in every domain.
- WaterIn practiceAutomated data checks flag anomalies for people to review.What a reader can checkReview logs
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- HealthIn practiceAgents never access personal health data without basis.What a reader can checkAccess logs
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Security and safety reviews.
- Oversight design proposals.
How agents and automation is modelled, measured and tested.
مدل، مفروضات، دادهها و عدم قطعیت آن، به شکلی که دانشمند یا مهندس بررسی میکند. ساختارها از روشهای منتشرشده پیروی میکنند. مقادیر ترسیمشده تبیینیاند، نه یافته.
مدل، معادلات و مفروضات
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)مخاطره، مواجهه، آسیبپذیری و ظرفیت مقابلهEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| فرض | چرا ساخته میشود | چگونه آزموده میشود |
|---|---|---|
| مخاطره و مواجهه در یک رویداد مستقلاند | انتگرال زیان را تحتکنترل نگه میدارد | مقایسه با برازش مفصل بر سوابق مشترک |
| جفتشدگیها نزدیک نقطهٔ کار خطیاند | اجازه میدهد شوکها از طریق A منتشر شوند | فراتر از دامنهٔ خطی آشفته کنید و مقایسه کنید |
| منحنیهای آسیبپذیری میان مکانها منتقل میشوند | منحنیهای محلی بهندرت در دسترساند | اعتبارسنجی در برابر زیانهای مشاهدهشده در جاهایی که وجود دارند |
- ورودیها
- مجموعهدادههای نسخهدار با خاستگاه
- خروجیها
- توزیعها، هرگز تکرقمها
- کد
- منتشرشده با کارت مدل و آزمونها
- بازتولید
- همان داده، کد، محیط و بذر
چه چیزی اندازهگیری میشود و با چه کیفیتی.
هر نشانگر واحد، بسامد بهروزرسانی، نوع منبع پشت آن و برچسب شواهدی را که یک مقدار میداشت، همراه دارد. هیچ مقداری نشان داده نمیشود: یک برنامه آنها را تحت اختیار خود فراهم میکند.
| نشانگر | واحد | تناوب | نوع منبع | برچسب |
|---|---|---|---|---|
| Active agents with a current authority record | proportion of active agents | هفتگی | Authority register | DECLARED |
| Tool calls denied at the policy gate | count per agent per period | روزانه | Policy gate logs | مشاهدهشده |
| Time from kill-switch activation to halt | ثانیه | به ازای هر تمرین یا رویداد | Gate and runtime logs | مشاهدهشده |
| Agent outputs accepted after human review | proportion of outputs | ماهانه | سوابق داوری | مشاهدهشده |
| Red-team findings open at promotion | تعداد بر حسب شدت | per model version | سوابق ارزیابی | گزارششده |
| Unsupported claims found in sampled outputs | count per sample | ماهانه | Reviewer audit | مشاهدهشده |
| Agent actions with a complete receipt | proportion of actions | روزانه | Receipt store | مشاهدهشده |
شواهد از کجا میآیند.
مجموعهدادههای عمومی و سوابق نهادی نامبرده، هر یک با ردهٔ پروانهٔ خود. منابع مبتنی بر توافق تنها بر پایهٔ شرایطشان به کار میروند و هرگز بازنشر نمیشوند.
| منبع | آنچه فراهم میکند | رستهٔ پروانه |
|---|---|---|
| AI Incident Database | شکستها و زیانهای مستند هوش مصنوعی در دنیای واقعی برای شناسایی مخاطره | Open, terms of the database |
| OECD AI Incidents Monitor | Reported AI incidents and hazards drawn from news sources | Terms of the OECD |
| MITRE ATLAS | Adversary tactics and techniques against AI systems | Free, terms of use |
| OWASP Top 10 برای کاربردهای مدلهای زبانی بزرگ | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF Playbook | Suggested actions for the govern, map, measure and manage functions | مالکیت عمومی |
| Model cards published with open models | Intended use, evaluation and known limits of a base model | پروانهٔ هر مدل |
چه کسی تصمیم میگیرد و شواهد در خدمت چیست.
Foundry شواهد را آماده میکند. تصمیمهای زیر را مراجع نامبرده، بر پایهٔ قواعد خودشان، اتخاذ میکنند و هرگز سکو تصمیم نمیگیرد.
| چه کسی تصمیم میگیرد | پرسش | شواهدی که این صفحه به آنها خدمت میکند |
|---|---|---|
| Supervising institutions | Whether an agent may act in their project, with which tools and on which data | سابقهٔ اختیار، سابقهٔ ارزیابی، یافتههای باز تیم قرمز |
| مالکان داده | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| Reviewers | Whether an agent’s draft may be accepted into evidence or a report | Receipts, sources cited and checked, evidence labels |
| مسئولان حکمرانی هوش مصنوعی و مراجع حفاظت از داده | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
خروجیهایی که این موضوع تولید میکند
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Evaluation and red-team records at each promotion
- Receipts for every agent action
- Labelled drafts that remain assertions until a person reviews them
آنچه مهندسان هوش مصنوعی و ایمنی میپرسند.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- آیا میتوان هر اقدام عامل را به یک هویت، یک پیکربندی و یک نهاد ناظر منتسب کرد؟
- How quickly can a person stop it, and is that stop enforced outside the agent?
Authority records, gates and receipts.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
Contract testing
Integrations and agents are tested against their declared contracts before they receive authority in any tenant.
- 02
ارزیابی مدل
Promotion of a model requires evaluation records, including red-team results where the use calls for them.
- 03
استفاده از داده
No tenant data is used for training without a recorded decision by the data owner.
- 04
محدودیتهای شناختهشده
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.
چگونه مطالعه میشود و آنچه روشها نمیتوانند بگویند.
- 01هوش مصنوعی و یادگیری ماشینمدلهای مشاهدهٔ زمین با اعتبارسنجی مکانی · کارتهای مدل و سوابق ارتقاکاربرد در اینجا
- 02مهندسی نرمافزار و سامانههای حیاتی از نظر ایمنیدروازههای سیاستی با شکست بسته · خاستگاه ساخت و صورتحساب مواد · پروندههای اطمینانبخشیکاربرد در اینجا
- 03مهندسی سامانههاسیاههٔ مرجع سامانهها · رابطهای قرارداد-محور · الزامات ردیابیشده تا شواهدکاربرد در اینجا
- 04مهندسی داده، همکنشیپذیری و تولیتاعتبارسنجی در مرز دریافت · برشهای ثابت داده برای فراوردههای بازتولیدپذیرکاربرد در اینجا
Where this page’s references lead.
نهادها و اسنادی که این صفحه بر پایهٔ آنها خوانده میشود. وضعیت و ویراستها تغییر میکنند؛ هر پیوند به نهاد صادرکننده میرود.
پرسش و پاسخ.
Who is accountable for an agent’s output?
Why are permissions enforced outside the agent?
Is project data used to train models?
آیا میتوانم عامل خودم را متصل کنم؟
شواهد را از همین صفحه ارسال کنید.
Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع میدانید میتواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.
- ایمیلدرگاه GW-GCRIاز همین صفحه ارسال کنیدشواهد، یک اصلاحیه، یک مورد، یک روش، یک داوری، یک ترجمه یا ورودی نمایه. با برچسب این صفحه میرسد تا ویراستار مسئول آن را دریافت کند.
- Zenodoسپردهٔ بازآن را واگذار کنید و به جامعه ارائه دهیدسابقهٔ خود را با شناسهٔ ORCID خود در Zenodo منتشر کنید و سپس آن را در همانجا به جامعهٔ Reports ارسال کنید. گزینشگران آن را داوری میکنند؛ DOI از آنِ شما میماند.
- گزارشهاGCRIهمهٔ راههای مشارکت را ببینیدانواع مشارکت، نحوهٔ بررسی هر یک، اعتباری که دریافت میکنید، مجوز و آنچه هرگز پذیرفته نمیشود.
هرگز داده شخصی، جزئیات حساس زیرساخت یا چیزی را که حق اشتراکش را ندارید نفرستید. هر مشارکت پیش از استفاده داوری میشود؛ ارسال آن حق مؤلفی یا ویرایشی نمیدهد و حمایت مالی هرگز یافتهای را نمیخرد.
یک روش، یک مجموعهداده یا یک پرسش بیاورید.
اطلاعات و درخواستها امروز باز است. هر درخواست یک شمارهٔ پیگیری میگیرد و گام بعدی را مشخص میکند؛ درخواستهای عضویت، پرداختها، تخصیص رایانش و ثبتنامها تنها زمانی باز میشوند که تیم، شرایط و ظرفیت داوری آنها فراهم باشد.
اسناد حقوقی.
نقشهها، دادهها و ارقام این سایت برای زمینه و اطلاعات عمومی نشان داده میشوند. توصیه، پیشبینی یا هشدار نیستند؛ حدود این اطلاعات در سلب مسئولیتها و اعلامیههای داده بیان شده است.