GCRI · الذكاء الاصطناعي والنظم المستقلة
الأنظمة الوكيلة
Agentic AI النظم pursue goals by planning and taking actions: calling tools, browsing, writing and running code, or operating other software, sometimes over long tasks with little supervision. Autonomy brings usefulness and new failure modes, from compounding errors to misuse of granted permissions. This page sets out how agents fail, how their actions can be bounded and overseen, and what evidence serves those who build, deploy and govern them.
Agentic systems on the record.
Agentic systems: how the risk develops.
Tool access, delegated authority and safe execution. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Errors compound over steps
Each step in a long task can go wrong, and an early mistake shapes later actions. Small per-step error rates add up over many steps.
Permissions define the blast radius
An agent can only do harm with the access it has been given. Broad credentials, write access and payment rights turn errors or manipulation into real-world consequences.
Untrusted inputs steer behaviour
Agents read web pages, documents and messages that may contain instructions. Prompt injection can redirect an agent to act against its user.
Oversight must be designed in
Humans cannot review every action of a fast agent. Approval steps for consequential actions, logging and the ability to stop and roll back are design choices.
Agent oversight console.
الشاشة التي قد يستخدمها فريق لمتابعة هذا الموضوع: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.
Agent oversight console
Agentic systems · Agent sandbox · Session AG-6627
Tool calls
- 10:34معلوماتsearch(documents) · read-only
- 10:51معلوماتrun_model(flood_nowcast) · sandbox
- 10:51البوابةsend_message(external) · needs approval
- 10:53Errorwrite_file(outside workspace) · denied
السياسات
- النطاق
- workspace only
- External actions
- human approval
- Spend limit
- 43 units
- Kill switch
- Armed
Actions by approval class
Agents that act need guardrails in every domain they touch.
- الطاقةالترابطAutomated control of grids needs strict human oversight.What to watchOverride and rollback design
- الصحةالترابطAgents handling health data raise privacy and safety risks.What to watchAccess scopes and logs
- المياهالترابطAutomation of utility operations must fail safe.What to watchFail-safe behaviour
Agentic system studies are designed for the سلسلة التقنيات الأسية. The OWASP Top 10 for LLM applications lists failure modes such as excessive agency and prompt injection; the page describes them without exploit detail.
- Incident reports involving agents.
- Designs for oversight and permission scoping.
How agentic systems is modelled, measured and tested.
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
نموذج النظام
The couplings between the systems in agentic systems: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
ما الذي يُقاس، ومدى جودة قياسه.
يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.
| المؤشر | الوحدة | وتيرة الإصدار | نوع المصدر | الوسم |
|---|---|---|---|---|
| Task success rate on agent benchmarks | percent of tasks completed correctly | per evaluation | Agent benchmark results | مُبلَّغ عنه |
| Actions requiring human approval | percent of consequential actions | per deployment | Deployment configuration | مُعلَن |
| Prompt injection success rate | percent of attempts succeeding | per evaluation | Security testing | مرصود |
| Agent incidents | count by severity | شهري | Incident reports | مُبلَّغ عنه |
| Actions logged and attributable | percent of agent actions | per deployment | Audit logs | مرصود |
| Mean task length before human intervention | steps or minutes | per evaluation | Evaluation logs | مرصود |
من أين تأتي الأدلة.
مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.
| المصدر | ما يقدّمه | فئة الترخيص |
|---|---|---|
| OWASP Top 10 for LLM Applications and agentic security guidance | Risks such as prompt injection and excessive agency | Open, CC BY-SA 4.0 |
| Published agent benchmarks such as SWE-bench and related suites | Task-based evaluation of agents | Open, licence per benchmark (to check) |
| NIST AI Risk Management Framework | Practices for governing and measuring AI risk | Public domain, US government |
| AI Incident Database | Reported incidents involving AI النظم | Open, licence to check |
| Developer system cards describing agent safeguards | Developer-reported agent evaluations and controls | Public documents, terms per developer |
من يقرر، وما الذي تخدمه الأدلة.
استوديو الذكاء الاصطناعي و النظم prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| من يقرر | السؤال | الأدلة التي تخدمها هذه الصفحة |
|---|---|---|
| Deploying organisations | Which actions an agent may take alone and which need approval | Permission patterns; evaluation results |
| Security teams | How to protect agents from manipulation | Injection testing; incident evidence |
| الجهات التنظيمية | What oversight to require for autonomous AI actions | Oversight design evidence |
المخرجات التي يُنتجها هذا الموضوع
- Permission and approval design patterns for agents
- Agent evaluation protocols covering long tasks
- Prompt injection test suites for deployments
- Logging and rollback requirements
What designers and evaluators ask.
- What actions can the agent take, with whose authority, and which are reversible?
- How does it behave when instructions are ambiguous, conflicting or malicious?
- Can a human see what it is doing, understand why and stop it in time?
- How do errors compound over long sequences of steps?
How agents fail.
An agent combines a model’s reasoning with permissions in the world. Small errors in early steps can compound across a long task. Agents can misinterpret goals, pursue them in unintended ways or take shortcuts that satisfy a metric but not the intent. Content the agent reads, such as a web page or document, can contain instructions designed to hijack it, an attack known as prompt injection.
The more permissions an agent holds, the larger the potential harm. النظم that coordinate several agents add further failure modes, as agents pass errors to each other or interact in unforeseen ways.
Designing for safe execution.
- 01
Least privilege
Granting only the permissions a task needs, with sandboxes and spending or action limits, drawing on الأمن السيبراني والتشفير.
- 02
Human oversight points
Requiring confirmation for consequential or irreversible actions. Too many prompts lead to rubber-stamping, so placement matters.
- 03
Task-based evaluation
Testing agents on realistic multi-step tasks in controlled environments, using هندسة تقييم الذكاء الاصطناعي وضمانه. Simulated environments miss some real-world complexity.
- 04
Logging and audit
Recording actions and reasoning traces so incidents can be reconstructed. Traces may not fully reflect how a model reached a decision.
كيف يُدرس، وما لا تستطيع المناهج قوله.
- 01هندسة تقييم الذكاء الاصطناعي وضمانهحالات الضمان لنظم الذكاء الاصطناعي · الاختبار العدائي المنظم · الرصد بعد النشرمُطبَّق هنا
- 02الأمن السيبراني والتشفيرنمذجة التهديدات لتطبيقات الذكاء الاصطناعي · سلامة سلسلة إمداد النماذج · اختبار الدفاع ضد الحقنمُطبَّق هنا
- 03الذكاء الاصطناعي وتعلم الآلةتحليل تحول التوزيع · الضبط الدقيق لاستخدام محدد · أساليب قابلية التفسيرمُطبَّق هنا
- 04الاحتمالات والإحصاءعدم اليقين في درجات الاختبارات المعيارية · تقييم المعايرة · أخذ العينات للتدقيقمُطبَّق هنا
Where this page’s references lead.
الهيئات والوثائق التي تُقرأ هذه الصفحة في ضوئها. وتتغير الحالات والإصدارات؛ ويقود كل رابط إلى الهيئة المُصدِرة.
أسئلة وأجوبة.
What is an AI agent?
What is prompt injection?
How can agent risk be reduced?
Should agents ever act without human approval?
Can agents be evaluated before deployment?
Does the platform build agents?
ساهم بأدلة من هذه الصفحة.
التقارير is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- البريد الإلكترونيالبوابة GW-GCRIأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- التقاريرGCRIاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
قدّم منهجية أو مجموعة بيانات أو سؤالا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.