GCRI · Foundry
Ajanlar ve otomasyon
Yapay zekâ ajanları, hiçbir ekibin erişemeyeceği bir hızda analiz taslağı hazırlayabilir, veri hatları çalıştırabilir ve verileri sorgulayabilir; bu nedenle yetkileri açıkça tanımlanmalıdır. Araçları çağırabilen bir ajan yanlış aracı çağırabilir, okumaması gereken verileri okuyabilir, bir belgeye yerleştirilmiş talimatları izleyebilir veya bir taslağı incelenmiş kanıt gibi sunabilir. Bu sayfa, ajan riskinin nasıl geliştiğini ve yayıldığını, ajanların yetki almadan önce nasıl değerlendirildiğini ve insanların onları durdurmasını sağlayan kontrolleri ortaya koyar.
Agents and automation on the record.
Agents and automation: how the risk develops.
AI tools, authority and risk controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Tool reach multiplies impact
Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.
Instructions arrive in data
Text retrieved from a web page, a document or a dataset can carry instructions the agent then follows. Prompt injection turns ordinary content into a control channel, so tool permissions must never depend on the agent recognising it.
Fluent error looks like evidence
Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
Çalışma alanı ve iş konsolu.
Bir ekibin bu konuyu izlemek için kullanacağı ekran: ölçütleri, durumları ve kararları. Adlar örnektir ve değerler açıklayıcıdır.
Çalışma alanı ve iş konsolu
Agents and automation · Project space 12 · Cluster east
- Çalışan işler31Etkin
- Kuyruk bekleme süresi, p508minNormal
- Bugünkü çalıştırmalar35924
- Kullanılan kota, bu ay %64İzleyin
İşler
| J-86161 | Sel modeli topluluğu | Proje sahibi | 00:37:12 | Çalışıyor |
| J-42787 | Karo oluşturma, yakınlaştırma 0 ila 12 | CBS çalışma alanı | 00:02:40 | Çalışıyor |
| J-76872 | Kanıt dışa aktarımı | Model sorumlusu | 00:00:47 | Tamamlandı |
| J-55145 | Ajan araç çağrısı toplu işi | Ajan sanal alanı | 00:01:16 | Politika engeli |
Politika olayları
- 10:25GeçitAracı çağrısı için insan onayı gerekir
- 10:51BilgiÇalıştırma kaydı mühürlendi
- 11:34UyarınProje için kota yüzde 80'de
Automation in Foundry is designed to keep humans in charge in every domain.
- WaterIn practiceAutomated data checks flag anomalies for people to review.What a reader can checkReview logs
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- HealthIn practiceAgents never access personal health data without basis.What a reader can checkAccess logs
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Security and safety reviews.
- Oversight design proposals.
How agents and automation is modelled, measured and tested.
Model, varsayımları, verileri ve belirsizliği, bir bilim insanının veya mühendisin kontrol edeceği biçimde. Yapılar yayımlanmış yöntemleri izler. Çizilen değerler bulgu değil, açıklayıcıdır.
Model, denklemler ve varsayımlar
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)tehlike, maruziyet, kırılganlık ve başa çıkma kapasitesiEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Varsayım | Neden yapıldığı | Nasıl sınanır |
|---|---|---|
| Bir olay içinde tehlike ve maruziyet bağımsızdır | Kayıp integralini çözülebilir tutar | Ortak kayıtlara uydurulmuş bir kopula ile karşılaştırın |
| Bağlantılar çalışma noktası yakınında doğrusaldır | Şokların A üzerinden yayılmasına izin verir | Doğrusal aralığın ötesine itin ve karşılaştırın |
| Kırılganlık eğrileri yerler arasında aktarılabilir | Yerel eğriler nadiren mevcuttur | Mevcut olduğunda gözlemlenen kayıplarla doğrulayın |
- Girdiler
- kaynağı belgelenmiş, sürümlü veri setleri
- Çıktılar
- dağılımlar, asla tek sayılar değil
- Kod
- model kartı ve testlerle birlikte yayımlanır
- Yeniden üretim
- aynı veri, kod, ortam ve tohum değeri
Neyin ve ne kadar iyi ölçüldüğü.
Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.
| Gösterge | Birim | Sıklık | Kaynak türü | Etiket |
|---|---|---|---|---|
| Active agents with a current authority record | proportion of active agents | haftalık | Authority register | BEYAN EDİLDİ |
| Tool calls denied at the policy gate | count per agent per period | günlük | Policy gate logs | GÖZLENEN |
| Time from kill-switch activation to halt | saniye | per drill or event | Gate and runtime logs | GÖZLENEN |
| İnsan incelemesinin ardından kabul edilen ajan çıktıları | proportion of outputs | aylık | İnceleme kayıtları | GÖZLENEN |
| Terfi aşamasında açık kalan kırmızı takım bulguları | şiddete göre sayı | per model version | Değerlendirme kayıtları | BİLDİRİLMİŞ |
| Unsupported claims found in sampled outputs | örnek başına sayı | aylık | Gözden geçirici denetimi | GÖZLENEN |
| Eksiksiz makbuzlu ajan eylemleri | eylemlerin oranı | günlük | Makbuz deposu | GÖZLENEN |
Kanıtın nereden geldiği.
Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.
| Kaynak | Sağladıkları | Lisans sınıfı |
|---|---|---|
| AI Incident Database | Documented real-world AI failures and harms for hazard identification | Açık, veri tabanının koşulları |
| OECD Yapay Zekâ Olayları İzleme Aracı | Reported AI incidents and hazards drawn from news sources | Terms of the OECD |
| MITRE ATLAS | Adversary tactics and techniques against AI systems | Ücretsiz, kullanım koşulları |
| Büyük dil modeli uygulamaları için OWASP İlk 10 | Dil modeli ve aracı sistemlerindeki yaygın güvenlik açığı sınıfları | CC BY-SA |
| NIST AI RMF Playbook | Suggested actions for the govern, map, measure and manage functions | Kamu malı |
| Model cards published with open models | Intended use, evaluation and known limits of a base model | Licence per model |
Kim karar verir ve kanıt neye hizmet eder.
Foundry kanıt hazırlar. Aşağıdaki kararları, adı geçen makamlar kendi kuralları uyarınca alır; platform asla almaz.
| Kim karar verir | Soru | Bu sayfanın hizmet ettiği kanıt |
|---|---|---|
| Supervising institutions | Whether an agent may act in their project, with which tools and on which data | Authority record, evaluation record, open red-team findings |
| Veri sahipleri | Whether their data may be read by agents or used to train or tune models | Data classes in scope; the recorded training decision |
| Reviewers | Whether an agent’s draft may be accepted into evidence or a report | Receipts, sources cited and checked, evidence labels |
| AI governance leads and data protection authorities | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
Bu konunun ürettiği çıktılar
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Her terfide değerlendirme ve kırmızı takım kayıtları
- Receipts for every agent action
- Labelled drafts that remain assertions until a person reviews them
What AI and safety engineers ask.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- Can every agent action be attributed to an identity, a configuration and a supervising institution?
- How quickly can a person stop it, and is that stop enforced outside the agent?
Authority records, gates and receipts.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluation comes before authority.
- 01
Contract testing
Entegrasyonlar ve ajanlar, herhangi bir kiracıda yetki almadan önce beyan edilen sözleşmelerine göre test edilir.
- 02
Model değerlendirmesi
Bir modelin terfisi, kullanımın gerektirdiği durumlarda kırmızı takım sonuçları dahil değerlendirme kayıtlarını gerektirir.
- 03
Veri kullanımı
Veri sahibinin kayıtlı bir kararı olmadan hiçbir kiracı verisi eğitim için kullanılmaz.
- 04
Bilinen sınırlar
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.
Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.
- 01Yapay zekâ ve makine öğrenmesiMekânsal doğrulamalı yer gözlemi modelleri · Model kartları ve yükseltme kayıtlarıBurada uygulanır
- 02Yazılım ve güvenlik açısından kritik sistemler mühendisliğiHata durumunda kapalı kalan politika geçitleri · Derleme kaynak izlenebilirliği ve malzeme listeleri · Güvence gerekçeleriBurada uygulanır
- 03Sistem mühendisliğiKanonik sistem envanteri · Sözleşme öncelikli arayüzler · Kanıta kadar izlenen gereksinimlerBurada uygulanır
- 04Veri mühendisliği, birlikte çalışabilirlik ve veri yönetimiVeri alım sınırında doğrulama · Yeniden üretilebilir ürünler için dondurulmuş veri kesitleriBurada uygulanır
Where this page’s references lead.
Bu sayfanın karşılaştırıldığı kuruluşlar ve belgeler. Durumlar ve sürümler değişir; her bağlantı yayımlayan kuruluşa gider.
Sorular ve yanıtlar.
Who is accountable for an agent’s output?
İzinler neden etkenin dışında uygulanır?
Is project data used to train models?
Can I connect my own agent?
Bu sayfadan kanıt katkısında bulunun.
Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.
- E-postaGW-GCRI geçidiBu sayfadan gönderinKanıt, bir düzeltme, bir vaka, bir yöntem, bir inceleme, bir çeviri veya profil girdisi. Bu sayfayla etiketlenmiş olarak gelir; böylece sayfanın sahibi editör onu alır.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RaporlarGCRIKatkıda bulunmanın tüm yollarını görünKatkı türleri, her birinin nasıl incelendiği, alacağınız atıf, lisans ve asla kabul edilmeyenler.
Hiçbir zaman kişisel veri, hassas altyapı ayrıntısı veya paylaşma hakkınız olmayan hiçbir şey göndermeyin. Bir katkı kullanılmadan önce incelenir. Katkıyı göndermek yazarlık veya editoryal hak sağlamaz ve sponsorluk hiçbir zaman bir bulgu satın almaz.
Bir yöntem, bir veri seti ya da bir soru getirin.
Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.
Hukuki belgeler.
Bu sitedeki haritalar, veriler ve şekiller bağlam ve genel bilgi amacıyla gösterilir. Tavsiye, tahmin ya da uyarı değildir; bilgilerin sınırları Sorumluluk Reddi ve Veri Bildirimleri'nde açıklanmıştır.