GCRI · Foundry
الوكلاء والأتمتة
AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.
Agents and automation on the record.
Agents and automation: how the risk develops.
أدوات الذكاء الاصطناعي والسلطة وضوابط المخاطر. يبيّن الملف أدناه كيف يتطور الخطر، وما الذي يُقاس، ومصدر البيانات، وكيف تُنمذج، ومن يقرر.
Tool reach multiplies impact
Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.
Instructions arrive in data
Text retrieved from a web page, a document or a dataset can carry instructions the agent then follows. Prompt injection turns ordinary content into a control channel, so tool permissions must never depend on the agent recognising it.
Fluent error looks like evidence
Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
وحدة تحكم مساحة العمل والمهام.
الشاشة التي قد يستخدمها فريق لمتابعة هذا الموضوع: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.
وحدة تحكم مساحة العمل والمهام
Agents and automation · Project space 12 · Cluster east
- المهام قيد التشغيل31نشط
- زمن الانتظار في الطابور، p508دعادي
- عمليات التشغيل اليوم35924
- الحصة المستخدمة، % هذا الشهر64مراقبة
المهام
| J-86161 | مجموعة نماذج الفيضانات | مالك المشروع | 00:37:12 | قيد التشغيل |
| J-42787 | عرض البلاطات، التقريب من 0 إلى 12 | مساحة عمل نظم المعلومات الجغرافية | 00:02:40 | قيد التشغيل |
| J-76872 | تصدير الأدلة | مشرف النموذج | 00:00:47 | تم |
| J-55145 | دفعة استدعاءات أدوات الوكيل | بيئة الوكيل المعزولة | 00:01:16 | حجب بموجب السياسة |
أحداث السياسات
- 10:25البوابةنداء الوكيل يحتاج إلى موافقة بشرية
- 10:51معلوماتختم سجل التشغيل
- 11:34إنذاربلوغ الحصة 80 بالمئة للمشروع
Automation in Foundry is designed to keep humans in charge in every domain.
- WaterIn practiceAutomated data checks flag anomalies for people to review.What a reader can checkReview logs
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- HealthIn practiceAgents never access personal health data without basis.What a reader can checkAccess logs
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Security and safety reviews.
- Oversight design proposals.
How agents and automation is modelled, measured and tested.
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
النموذج والمعادلات والافتراضات
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)الخطر والتعرّض وقابلية التأثر والقدرة على المواجهةEAL = ∑k pk · Lkعلى الأحداث k ذات الاحتمال السنوي pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| افتراض | لماذا أُعدّ | كيف يُختبر |
|---|---|---|
| الخطر والتعرّض مستقلان داخل الحدث الواحد | يُبقي تكامل الخسارة قابلًا للحساب | قارن بمطابقة دالة ربط (copula) على السجلات المشتركة |
| تكون الروابط خطية قرب نقطة التشغيل | يسمح بانتشار الصدمات عبر A | ادفع خارج النطاق الخطي وقارن |
| منحنيات الهشاشة قابلة للنقل بين الأماكن | نادرًا ما تتوافر المنحنيات المحلية | التحقق مقابل الخسائر المرصودة حيثما وُجدت |
- المدخلات
- مجموعات بيانات ذات إصدارات ومزودة ببيان المصدر
- المخرجات
- توزيعات، لا أرقام منفردة أبدا
- الرمز
- يُصدر مع بطاقة النموذج والاختبارات
- إعادة الإنتاج
- البيانات نفسها والشيفرة نفسها والبيئة نفسها والبذرة نفسها
ما الذي يُقاس، ومدى جودة قياسه.
يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.
| المؤشر | الوحدة | وتيرة الإصدار | نوع المصدر | الوسم |
|---|---|---|---|---|
| Active agents with a current authority record | proportion of active agents | أسبوعي | Authority register | مُعلَن |
| Tool calls denied at the policy gate | count per agent per period | يومي | Policy gate logs | مرصود |
| Time from kill-switch activation to halt | ثوانٍ | per drill or event | Gate and runtime logs | مرصود |
| Agent outputs accepted after human review | proportion of outputs | شهري | سجلات المراجعة | مرصود |
| Red-team findings open at promotion | العدد حسب الشدة | per model version | سجلات التقييم | مُبلَّغ عنه |
| Unsupported claims found in sampled outputs | count per sample | شهري | Reviewer audit | مرصود |
| Agent actions with a complete receipt | proportion of actions | يومي | مخزن الإيصالات | مرصود |
من أين تأتي الأدلة.
مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.
| المصدر | ما يقدّمه | فئة الترخيص |
|---|---|---|
| قاعدة بيانات حوادث الذكاء الاصطناعي (AI Incident Database) | Documented real-world AI failures and harms for hazard identification | مفتوحة، وفق شروط قاعدة البيانات |
| مرصد حوادث الذكاء الاصطناعي لمنظمة التعاون الاقتصادي والتنمية (OECD AI Incidents Monitor) | Reported AI incidents and hazards drawn from news sources | Terms of the OECD |
| MITRE ATLAS | Adversary tactics and techniques against AI systems | مجاني، بشروط الاستخدام |
| OWASP Top 10 for large language model applications | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF Playbook | Suggested actions for the govern, map, measure and manage functions | ملك عام |
| Model cards published with open models | Intended use, evaluation and known limits of a base model | Licence per model |
من يقرر، وما الذي تخدمه الأدلة.
تُعِدّ Foundry الأدلة. وتتخذ القرارات المبينة أدناه السلطات المسماة، وفق قواعدها الخاصة، ولا تتخذها المنصة أبدًا.
| من يقرر | السؤال | الأدلة التي تخدمها هذه الصفحة |
|---|---|---|
| Supervising institutions | Whether an agent may act in their project, with which tools and on which data | Authority record, evaluation record, open red-team findings |
| مالكو البيانات | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| Reviewers | Whether an agent’s draft may be accepted into evidence or a report | Receipts, sources cited and checked, evidence labels |
| AI governance leads and data protection authorities | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
المخرجات التي يُنتجها هذا الموضوع
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Evaluation and red-team records at each promotion
- Receipts for every agent action
- Labelled drafts that remain assertions until a person reviews them
What AI and safety engineers ask.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- Can every agent action be attributed to an identity, a configuration and a supervising institution?
- How quickly can a person stop it, and is that stop enforced outside the agent?
Authority records, gates and receipts.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
Contract testing
Integrations and agents are tested against their declared contracts before they receive authority in any tenant.
- 02
تقييم النماذج
Promotion of a model requires evaluation records, including red-team results where the use calls for them.
- 03
Data use
لا تُستخدم بيانات أي مستأجر في التدريب دون قرار مسجّل من مالك البيانات.
- 04
الحدود المعروفة
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.
كيف يُدرس، وما لا تستطيع المناهج قوله.
- 01الذكاء الاصطناعي وتعلم الآلةنماذج رصد الأرض مع التحقق المكاني · بطاقات النماذج وسجلات الترقيةمُطبَّق هنا
- 02هندسة البرمجيات والنظم الحرجة من حيث السلامةبوابات سياسات تُغلق عند الإخفاق · بيان المصدر لعمليات البناء وقوائم المواد · حالات الضمانمُطبَّق هنا
- 03هندسة النظمالجرد المرجعي للنظم · الواجهات القائمة على العقود أولًا · المتطلبات المتتبَّعة حتى الأدلةمُطبَّق هنا
- 04هندسة البيانات وقابلية التشغيل البيني والإشراف على البياناتالتحقق عند حدود الاستيعاب · مقاطع بيانات مجمّدة للمنتجات القابلة لإعادة الإنتاجمُطبَّق هنا
Where this page’s references lead.
الهيئات والوثائق التي تُقرأ هذه الصفحة في ضوئها. وتتغير الحالات والإصدارات؛ ويقود كل رابط إلى الهيئة المُصدِرة.
أسئلة وأجوبة.
Who is accountable for an agent’s output?
Why are permissions enforced outside the agent?
Is project data used to train models?
Can I connect my own agent?
ساهم بأدلة من هذه الصفحة.
Reports هي المطبوعة الفصلية للاتحاد. ويمكن لما تعرفه عن هذا الموضوع أن يصبح دليلًا أو حالة أو تصويبًا في الإصدار التالي، يُنسب إليك ويُنشر بموجب CC BY 4.0 حيثما كان من عملك الخاص.
- البريد الإلكترونيالبوابة GW-GCRIأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- التقاريرGCRIاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
قدّم منهجية أو مجموعة بيانات أو سؤالا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.