Skip to content

GCRI · Foundry

एजेंट और स्वचालन

AI agents can draft analyses, run pipelines and query data at a speed no team can match, which is why their authority must be explicit. An agent that can call tools can call the wrong one, read data it should not, follow instructions planted in a document, or present a draft as reviewed evidence. This page sets out how agent risk develops and spreads, how agents are evaluated before they receive authority, and the controls that let people stop them.

01रजिस्टर करें

एजेंट और स्वचालन अभिलेख में दर्ज।

02प्रश्न

Agents and automation: how the risk develops.

AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

तंत्र

Tool reach multiplies impact

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

तंत्र

Instructions arrive in data

किसी वेब पृष्ठ, दस्तावेज़ या डेटासेट से प्राप्त पाठ में ऐसे निर्देश हो सकते हैं जिनका एजेंट फिर पालन करता है। प्रॉम्प्ट इंजेक्शन सामान्य सामग्री को नियंत्रण माध्यम बना देता है, इसलिए टूल अनुमतियाँ कभी इस पर निर्भर नहीं होनी चाहिए कि एजेंट उसे पहचान ले।

तंत्र

प्रवाहपूर्ण त्रुटि साक्ष्य जैसी दिखती है

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

तंत्र

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03निगरानी करें

कार्यक्षेत्र और कार्य कंसोल।

वह स्क्रीन जिसका उपयोग कोई टीम इस विषय का अनुसरण करने के लिए करेगी: इसके माप, अवस्थाएँ और निर्णय। नाम उदाहरण हैं और मान उदाहरणात्मक हैं।

कार्यक्षेत्र और जॉब कंसोल

Agents and automation · Project space 12 · Cluster east

  • चल रहे कार्य
    31सक्रिय
  • कतार प्रतीक्षा, p50
    8मिनटसामान्य
  • आज के रन
    35924
  • कोटा उपयोग, इस माह %
    64निगरानी
IllustrativeGCRI · Foundry

रोज़गार

J-86161बाढ़ मॉडल समुच्चयपरियोजना स्वामी00:37:12चल रहा है
J-42787टाइल रेंडर, ज़ूम 0 से 12GIS कार्यक्षेत्र00:02:40चल रहा है
J-76872साक्ष्य निर्यातमॉडल संरक्षक00:00:47पूर्ण
J-55145एजेंट टूल कॉल बैचएजेंट सैंडबॉक्स00:01:16नीति अवरोध

नीति घटनाएँ

  1. 10:25द्वारएजेंट कॉल को मानवीय अनुमोदन चाहिए
  2. 10:51जानकारीरन अभिलेख मुहरबंद
  3. 11:34चेतावनी देंपरियोजना के लिए 80 प्रतिशत पर कोटा
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04पाँच क्षेत्रों में

Automation in Foundry is designed to keep humans in charge in every domain.

05पद्धतियाँ और साक्ष्य

How agents and automation is modelled, measured and tested.

मॉडल, उसकी मान्यताएँ, उसका डेटा और उसकी अनिश्चितता, उस रूप में जिसे कोई वैज्ञानिक या अभियंता जाँचेगा। संरचनाएँ प्रकाशित पद्धतियों का अनुसरण करती हैं। लिए गए मान उदाहरणात्मक हैं, निष्कर्ष नहीं।

मॉडल, समीकरण और मान्यताएँ

The model structure used for agents and automation, the assumptions it makes and how each is tested.

तत्व i का जोखिमRi = f(Hi, Ei, Vi, Ci)संकट, जोखिम-संपर्क, भेद्यता और सामना करने की क्षमता
अपेक्षित वार्षिक हानिEAL = ∑k pk · Lkover events k with annual probability pk
युग्मित प्रणालियाँxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
धारणायह क्यों बनाया जाता हैइसका परीक्षण कैसे होता है
एक घटना के भीतर संकट और जोखिम-संपर्क स्वतंत्र हैंनुकसान समाकलन को हल करने योग्य रखता हैसंयुक्त अभिलेखों पर कोपुला फ़िट से तुलना करें
संचालन बिंदु के पास युग्मन रैखिक हैंझटकों को A के माध्यम से फैलने देता हैरैखिक सीमा से आगे विक्षोभ दें और तुलना करें
भेद्यता वक्र स्थानों के बीच स्थानांतरित होते हैंस्थानीय वक्र शायद ही कभी उपलब्ध होते हैंजहाँ प्रेक्षित हानियाँ मौजूद हों, उनके विरुद्ध सत्यापन करें
इनपुट
उद्गम के साथ संस्करणबद्ध डेटासेट
परिणाम
वितरण, कभी एकल संख्याएँ नहीं
Code
मॉडल कार्ड और परीक्षणों के साथ जारी
पुनरुत्पादन
वही डेटा, कोड, परिवेश और सीड
मानक जोखिम और अवस्था-समष्टि सूत्रीकरण; सूचीबद्ध धारणाएँ पद्धति की विशिष्ट धारणाएँ हैं, समीक्षा के लिए बताई गई, परिणाम नहीं।
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06संकेतक

क्या मापा जाता है, और कितनी अच्छी तरह।

प्रत्येक संकेतक अपनी इकाई, आवृत्ति, उसके पीछे के स्रोत का प्रकार और वह साक्ष्य लेबल वहन करता है जो किसी मान पर होगा। कोई मान नहीं दिखाए जाते: कोई कार्यक्रम उन्हें अपने अधिकार के तहत प्रदान करता है।

संकेतकइकाईलयस्रोत प्रकारलेबल
वर्तमान प्राधिकार अभिलेख वाले सक्रिय एजेंटproportion of active agentsसाप्ताहिकAuthority registerघोषित
Tool calls denied at the policy gatecount per agent per periodदैनिकPolicy gate logsप्रेक्षित
Time from kill-switch activation to haltसेकंडper drill or eventगेट और रनटाइम लॉगप्रेक्षित
मानवीय समीक्षा के बाद स्वीकार किए गए एजेंट आउटपुटआउटपुट का अनुपातमासिकसमीक्षा अभिलेखप्रेक्षित
Red-team findings open at promotionगंभीरता के अनुसार गणनाप्रति मॉडल संस्करणमूल्यांकन अभिलेखरिपोर्ट किया गया
Unsupported claims found in sampled outputscount per sampleमासिकReviewer auditप्रेक्षित
Agent actions with a complete receiptproportion of actionsदैनिकReceipt storeप्रेक्षित
07स्रोत

साक्ष्य कहाँ से आता है।

नामित सार्वजनिक डेटासेट और संस्थागत अभिलेख, प्रत्येक अपने लाइसेंस वर्ग के साथ। समझौते द्वारा प्राप्त स्रोतों का उपयोग केवल उनकी शर्तों के तहत होता है और कभी पुनः प्रकाशित नहीं किया जाता।

स्रोतयह क्या देता हैलाइसेंस वर्ग
AI Incident Databaseसंकट की पहचान के लिए AI की वास्तविक विफलताओं और हानियों के प्रलेखित मामलेOpen, terms of the database
OECD AI Incidents Monitorसमाचार स्रोतों से लिए गए रिपोर्ट किए गए AI घटनाएँ और संकटTerms of the OECD
MITRE ATLASAdversary tactics and techniques against AI systemsनिःशुल्क, उपयोग की शर्तें
OWASP Top 10 for large language model applicationsCommon vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF Playbookशासन, मानचित्रण, मापन और प्रबंधन कार्यों के लिए सुझाई गई कार्रवाइयाँसार्वजनिक क्षेत्र
Model cards published with open modelsIntended use, evaluation and known limits of a base modelLicence per model
08निर्णय

कौन निर्णय लेता है, और साक्ष्य किसकी सेवा करता है।

Foundry साक्ष्य तैयार करता है। नीचे दिए गए निर्णय नामित प्राधिकरणों द्वारा उनके अपने नियमों के अंतर्गत लिए जाते हैं, प्लेटफ़ॉर्म द्वारा कभी नहीं।

निर्णय कौन लेता हैप्रश्नयह पृष्ठ जिस साक्ष्य की सेवा करता है
पर्यवेक्षी संस्थानWhether an agent may act in their project, with which tools and on which dataAuthority record, evaluation record, open red-team findings
डेटा स्वामीWhether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
ReviewersWhether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
AI शासन प्रमुख और डेटा संरक्षण प्राधिकरणWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

इस विषय से उत्पन्न आउटपुट

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • प्रत्येक पदोन्नति पर मूल्यांकन और रेड-टीम रिकॉर्ड
  • Receipts for every agent action
  • Labelled drafts that remain assertions until a person reviews them
09मूल प्रश्न

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • Can every agent action be attributed to an identity, a configuration and a supervising institution?
  • How quickly can a person stop it, and is that stop enforced outside the agent?
10तंत्र

प्राधिकरण अभिलेख, गेट और रसीदें।

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Evaluation comes before authority.

  1. 01

    Contract testing

    किसी भी टेनेंट में अधिकार मिलने से पहले एकीकरणों और एजेंटों का परीक्षण उनके घोषित अनुबंधों के विरुद्ध किया जाता है।

  2. 02

    मॉडल मूल्यांकन

    Promotion of a model requires evaluation records, including red-team results where the use calls for them.

  3. 03

    Data use

    No tenant data is used for training without a recorded decision by the data owner.

  4. 04

    ज्ञात सीमाएँ

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.

12पद्धतियाँ

इसका अध्ययन कैसे होता है, और पद्धतियाँ क्या नहीं बता सकतीं।

  1. कृत्रिम बुद्धिमत्ता और मशीन लर्निंगस्थानिक सत्यापन के साथ पृथ्वी अवलोकन मॉडल · मॉडल कार्ड और पदोन्नति अभिलेखयहाँ लागू
  2. सॉफ़्टवेयर और सुरक्षा-महत्वपूर्ण प्रणाली अभियांत्रिकीविफलता-पर-बंद नीति गेट · बिल्ड उद्गम और सामग्री सूचियाँ · आश्वासन प्रकरणयहाँ लागू
  3. सिस्टम इंजीनियरिंगमानक प्रणाली सूची · अनुबंध-प्रथम इंटरफ़ेस · साक्ष्य तक अनुरेखित आवश्यकताएँयहाँ लागू
  4. डेटा इंजीनियरिंग, अंतर-संचालनीयता और डेटा प्रबंधनअंतर्ग्रहण सीमा पर सत्यापन · पुनरुत्पादनीय उत्पादों के लिए स्थिर डेटा कटयहाँ लागू
13Where this page’s references

Where this page’s references lead.

वे निकाय और दस्तावेज़ जिनके विरुद्ध यह पृष्ठ पढ़ा जाता है। स्थिति और संस्करण बदलते हैं; हर लिंक जारी करने वाले निकाय तक जाता है।

14प्रश्न

प्रश्न और उत्तर।

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
Why are permissions enforced outside the agent?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Is project data used to train models?
डेटा स्वामी के दर्ज निर्णय के बिना नहीं। प्रशिक्षण, ट्यूनिंग और मूल्यांकन के उपयोग स्रोत की शर्तों में अलग से घोषित होते हैं।
क्या मैं अपना स्वयं का एजेंट जोड़ सकता हूँ?
Agent and integration access is designed to open with authorised projects, after contract testing against the declared tools and scopes.
रिपोर्टयोगदान दें

इस पृष्ठ से साक्ष्य का योगदान करें।

Reports कंसोर्टियम का त्रैमासिक प्रकाशन है। इस विषय के बारे में आप जो जानते हैं, वह अगले संस्करण में साक्ष्य, एक मामला या एक सुधार बन सकता है, आपको श्रेय देते हुए और जहाँ वह आपका अपना कार्य हो वहाँ CC BY 4.0 के अंतर्गत प्रकाशित।

GCRIFoundryFoundry Build and Readiness

व्यक्तिगत डेटा, संवेदनशील अवसंरचना का विवरण या ऐसी कोई भी सामग्री कभी न भेजें जिसे साझा करने का आपको अधिकार नहीं है। उपयोग से पहले योगदान की समीक्षा होती है; इसे भेजने से लेखकत्व या संपादकीय अधिकार नहीं मिलते, और प्रायोजन कभी किसी निष्कर्ष को नहीं खरीदता।

Foundry

कोई विधि, डेटासेट या प्रश्न लाएँ।

जानकारी और पूछताछ आज से खुली हैं। हर पूछताछ को एक संदर्भ मिलता है और अगला कदम बताया जाता है; आवेदन, भुगतान, कंप्यूट आवंटन और पंजीकरण तभी खुलते हैं जब उनकी टीम, शर्तें और समीक्षा क्षमता मौजूद हों।

विधिक

इस साइट पर मानचित्र, डेटा और आँकड़े संदर्भ और सामान्य जानकारी के लिए दिखाए जाते हैं। वे सलाह, पूर्वानुमान या चेतावनियाँ नहीं हैं; जानकारी की सीमाएँ अस्वीकरण और डेटा सूचनाओं में बताई गई हैं।

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.