Skip to content

GCRI · Foundry

Ajanlar ve otomasyon

Yapay zekâ ajanları, hiçbir ekibin erişemeyeceği bir hızda analiz taslağı hazırlayabilir, veri hatları çalıştırabilir ve verileri sorgulayabilir; bu nedenle yetkileri açıkça tanımlanmalıdır. Araçları çağırabilen bir ajan yanlış aracı çağırabilir, okumaması gereken verileri okuyabilir, bir belgeye yerleştirilmiş talimatları izleyebilir veya bir taslağı incelenmiş kanıt gibi sunabilir. Bu sayfa, ajan riskinin nasıl geliştiğini ve yayıldığını, ajanların yetki almadan önce nasıl değerlendirildiğini ve insanların onları durdurmasını sağlayan kontrolleri ortaya koyar.

02Soru

Agents and automation: how the risk develops.

AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mekanizma

Tool reach multiplies impact

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

Mekanizma

Instructions arrive in data

Text retrieved from a web page, a document or a dataset can carry instructions the agent then follows. Prompt injection turns ordinary content into a control channel, so tool permissions must never depend on the agent recognising it.

Mekanizma

Fluent error looks like evidence

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

Mekanizma

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03İzleme

Çalışma alanı ve iş konsolu.

Bir ekibin bu konuyu izlemek için kullanacağı ekran: ölçütleri, durumları ve kararları. Adlar örnektir ve değerler açıklayıcıdır.

Çalışma alanı ve iş konsolu

Agents and automation · Project space 12 · Cluster east

  • Çalışan işler
    31Etkin
  • Kuyruk bekleme süresi, p50
    8minNormal
  • Bugünkü çalıştırmalar
    35924
  • Kullanılan kota, bu ay %
    64İzleyin
IllustrativeGCRI · Foundry

İşler

J-86161Sel modeli topluluğuProje sahibi00:37:12Çalışıyor
J-42787Karo oluşturma, yakınlaştırma 0 ila 12CBS çalışma alanı00:02:40Çalışıyor
J-76872Kanıt dışa aktarımıModel sorumlusu00:00:47Tamamlandı
J-55145Ajan araç çağrısı toplu işiAjan sanal alanı00:01:16Politika engeli

Politika olayları

  1. 10:25GeçitAracı çağrısı için insan onayı gerekir
  2. 10:51BilgiÇalıştırma kaydı mühürlendi
  3. 11:34UyarınProje için kota yüzde 80'de
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04Beş alanda

Automation in Foundry is designed to keep humans in charge in every domain.

05Yöntemler ve kanıt

How agents and automation is modelled, measured and tested.

Model, varsayımları, verileri ve belirsizliği, bir bilim insanının veya mühendisin kontrol edeceği biçimde. Yapılar yayımlanmış yöntemleri izler. Çizilen değerler bulgu değil, açıklayıcıdır.

Model, denklemler ve varsayımlar

The model structure used for agents and automation, the assumptions it makes and how each is tested.

i öğesinin riskiRi = f(Hi, Ei, Vi, Ci)tehlike, maruziyet, kırılganlık ve başa çıkma kapasitesi
Beklenen yıllık kayıpEAL = ∑k pk · Lkover events k with annual probability pk
Bağlı sistemlerxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
VarsayımNeden yapıldığıNasıl sınanır
Bir olay içinde tehlike ve maruziyet bağımsızdırKayıp integralini çözülebilir tutarOrtak kayıtlara uydurulmuş bir kopula ile karşılaştırın
Bağlantılar çalışma noktası yakınında doğrusaldırŞokların A üzerinden yayılmasına izin verirDoğrusal aralığın ötesine itin ve karşılaştırın
Kırılganlık eğrileri yerler arasında aktarılabilirYerel eğriler nadiren mevcutturMevcut olduğunda gözlemlenen kayıplarla doğrulayın
Girdiler
kaynağı belgelenmiş, sürümlü veri setleri
Çıktılar
dağılımlar, asla tek sayılar değil
Kod
model kartı ve testlerle birlikte yayımlanır
Yeniden üretim
aynı veri, kod, ortam ve tohum değeri
Standart risk ve durum uzayı formülasyonları; listelenen varsayımlar yöntemin tipik varsayımlarıdır, inceleme için belirtilmiştir, sonuç değildir.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Göstergeler

Neyin ve ne kadar iyi ölçüldüğü.

Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.

GöstergeBirimSıklıkKaynak türüEtiket
Active agents with a current authority recordproportion of active agentshaftalıkAuthority registerBEYAN EDİLDİ
Tool calls denied at the policy gatecount per agent per periodgünlükPolicy gate logsGÖZLENEN
Time from kill-switch activation to haltsaniyeper drill or eventGate and runtime logsGÖZLENEN
İnsan incelemesinin ardından kabul edilen ajan çıktılarıproportion of outputsaylıkİnceleme kayıtlarıGÖZLENEN
Terfi aşamasında açık kalan kırmızı takım bulgularışiddete göre sayıper model versionDeğerlendirme kayıtlarıBİLDİRİLMİŞ
Unsupported claims found in sampled outputsörnek başına sayıaylıkGözden geçirici denetimiGÖZLENEN
Eksiksiz makbuzlu ajan eylemlerieylemlerin oranıgünlükMakbuz deposuGÖZLENEN
07Kaynaklar

Kanıtın nereden geldiği.

Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.

KaynakSağladıklarıLisans sınıfı
AI Incident DatabaseDocumented real-world AI failures and harms for hazard identificationAçık, veri tabanının koşulları
OECD Yapay Zekâ Olayları İzleme AracıReported AI incidents and hazards drawn from news sourcesTerms of the OECD
MITRE ATLASAdversary tactics and techniques against AI systemsÜcretsiz, kullanım koşulları
Büyük dil modeli uygulamaları için OWASP İlk 10Dil modeli ve aracı sistemlerindeki yaygın güvenlik açığı sınıflarıCC BY-SA
NIST AI RMF PlaybookSuggested actions for the govern, map, measure and manage functionsKamu malı
Model cards published with open modelsIntended use, evaluation and known limits of a base modelLicence per model
08Kararlar

Kim karar verir ve kanıt neye hizmet eder.

Foundry kanıt hazırlar. Aşağıdaki kararları, adı geçen makamlar kendi kuralları uyarınca alır; platform asla almaz.

Kim karar verirSoruBu sayfanın hizmet ettiği kanıt
Supervising institutionsWhether an agent may act in their project, with which tools and on which dataAuthority record, evaluation record, open red-team findings
Veri sahipleriWhether their data may be read by agents or used to train or tune modelsData classes in scope; the recorded training decision
ReviewersWhether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
AI governance leads and data protection authoritiesWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

Bu konunun ürettiği çıktılar

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Her terfide değerlendirme ve kırmızı takım kayıtları
  • Receipts for every agent action
  • Labelled drafts that remain assertions until a person reviews them
09Temel sorular

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • Can every agent action be attributed to an identity, a configuration and a supervising institution?
  • How quickly can a person stop it, and is that stop enforced outside the agent?
10Mekanizmalar

Authority records, gates and receipts.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Evaluation comes before authority.

  1. 01

    Contract testing

    Entegrasyonlar ve ajanlar, herhangi bir kiracıda yetki almadan önce beyan edilen sözleşmelerine göre test edilir.

  2. 02

    Model değerlendirmesi

    Bir modelin terfisi, kullanımın gerektirdiği durumlarda kırmızı takım sonuçları dahil değerlendirme kayıtlarını gerektirir.

  3. 03

    Veri kullanımı

    Veri sahibinin kayıtlı bir kararı olmadan hiçbir kiracı verisi eğitim için kullanılmaz.

  4. 04

    Bilinen sınırlar

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.

12Yöntemler

Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.

13Where this page’s references

Where this page’s references lead.

Bu sayfanın karşılaştırıldığı kuruluşlar ve belgeler. Durumlar ve sürümler değişir; her bağlantı yayımlayan kuruluşa gider.

14Sorular

Sorular ve yanıtlar.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
İzinler neden etkenin dışında uygulanır?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Is project data used to train models?
Not without a recorded decision by the data owner. Training, tuning and evaluation uses are declared separately in the source terms.
Can I connect my own agent?
Ajan ve entegrasyon erişiminin, bildirilen araçlar ve kapsamlar karşısında sözleşme testi yapıldıktan sonra yetkilendirilmiş projelere açılması öngörülmektedir.
RaporlarKatkıda bulunun

Bu sayfadan kanıt katkısında bulunun.

Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.

GCRIFoundryFoundry Build and Readiness
Foundry

Bir yöntem, bir veri seti ya da bir soru getirin.

Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.