Skip to content

GCRI · Foundry

Agen dan otomatisasi

Agen AI dapat menyusun draf analisis, menjalankan pipeline, dan menanyakan data dengan kecepatan yang tidak dapat ditandingi tim mana pun, sehingga kewenangan mereka harus dinyatakan secara eksplisit. Agen yang dapat memanggil alat dapat memanggil alat yang salah, membaca data yang tidak semestinya, mengikuti instruksi yang disisipkan dalam dokumen, atau menyajikan draf sebagai bukti yang telah ditinjau. Halaman ini menguraikan bagaimana risiko agen berkembang dan menyebar, bagaimana agen dievaluasi sebelum menerima kewenangan, serta kendali yang memungkinkan manusia menghentikannya.

02Pertanyaannya

Agen dan otomasi: bagaimana risiko berkembang.

Alat AI, otoritas, dan kendali risiko. Dosir di bawah ini menguraikan bagaimana risiko berkembang, apa yang diukur, dari mana data berasal, bagaimana dimodelkan, dan siapa yang memutuskan.

Mekanisme

Tool reach multiplies impact

Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.

Mekanisme

Instructions arrive in data

Text retrieved from a web page, a document or a dataset can carry instructions the agent then follows. Prompt injection turns ordinary content into a control channel, so tool permissions must never depend on the agent recognising it.

Mekanisme

Fluent error looks like evidence

Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.

Mekanisme

Automation chains

One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.

03Pantau

Konsol ruang kerja dan pekerjaan.

Layar yang akan digunakan sebuah tim untuk mengikuti subjek ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.

Konsol ruang kerja dan pekerjaan

Agents and automation · Project space 12 · Cluster east

  • Pekerjaan berjalan
    31Aktif
  • Waktu tunggu antrean, p50
    8minNormal
  • Proses hari ini
    35924
  • Kuota terpakai, % bulan ini
    64Pantau
IllustrativeGCRI · Foundry

Pekerjaan

J-86161Ansambel model banjirPemilik proyek00:37:12Berjalan
J-42787Render ubin, zoom 0 hingga 12Ruang kerja GIS00:02:40Berjalan
J-76872Ekspor buktiPenanggung jawab model00:00:47Selesai
J-55145Kumpulan panggilan alat agenSandbox agen00:01:16Pemblokiran kebijakan

Peristiwa kebijakan

  1. 10:25GerbangPanggilan agen memerlukan persetujuan manusia
  2. 10:51InfoRun record sealed
  3. 11:34PeringatanKuota 80 persen untuk proyek
Workspace and job console: the screen’s structure, terms and states for Agents and automation.Example names and illustrative values; a design, not a record or a live system.
04Dalam lima domain

Automation in Foundry is designed to keep humans in charge in every domain.

05Metode dan bukti

How agents and automation is modelled, measured and tested.

Model, asumsi, data, dan ketidakpastiannya, dalam bentuk yang akan diperiksa ilmuwan atau insinyur. Strukturnya mengikuti metode yang dipublikasikan. Nilai yang digambar bersifat ilustratif, bukan temuan.

Model, persamaan, dan asumsi

The model structure used for agents and automation, the assumptions it makes and how each is tested.

Risiko elemen iRi = f(Hi, Ei, Vi, Ci)bahaya, keterpaparan, kerentanan, dan kapasitas penanggulangan
Kerugian tahunan yang diharapkanEAL = ∑k pk · Lkover events k with annual probability pk
Sistem terhubungxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AsumsiMengapa ini dibuatBagaimana ini diuji
Bahaya dan eksposur bersifat independen dalam satu peristiwaMenjaga integral kerugian tetap dapat dihitungBandingkan dengan pencocokan kopula pada catatan gabungan
Keterkaitan bersifat linear di dekat titik operasiMembiarkan guncangan merambat melalui AUji di luar rentang linear lalu bandingkan
Kurva kerentanan dapat dipindahkan antartempatKurva lokal jarang tersediaValidasi terhadap kerugian teramati jika tersedia
Masukan
dataset berversi dengan asal-usul yang tercatat
Keluaran
distribusi, bukan angka tunggal
Kode
dirilis bersama kartu model dan pengujiannya
Reproduksi
data, kode, lingkungan, dan seed yang sama
Formulasi risiko standar dan ruang keadaan; asumsi yang tercantum lazim bagi metode tersebut, dinyatakan untuk ditinjau, bukan hasil.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indikator

Apa yang diukur, dan seberapa baik.

Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.

IndikatorUnitKadensiJenis sumberLabel
Active agents with a current authority recordproporsi agen aktifsetiap mingguAuthority registerDINYATAKAN
Tool calls denied at the policy gatecount per agent per periodsetiap hariPolicy gate logsTERAMATI
Time from kill-switch activation to haltdetikper drill or eventGate and runtime logsTERAMATI
Keluaran agen yang diterima setelah tinjauan manusiaproporsi keluaransetiap bulanCatatan tinjauanTERAMATI
Red-team findings open at promotionjumlah menurut tingkat keparahanper versi modelCatatan evaluasiDILAPORKAN
Unsupported claims found in sampled outputsjumlah per sampelsetiap bulanAudit oleh pereviuTERAMATI
Tindakan agen dengan tanda terima lengkapproporsi tindakansetiap hariPenyimpanan tanda terimaTERAMATI
07Sumber

Asal bukti.

Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.

SumberApa yang diberikannyaKelas lisensi
AI Incident DatabaseDocumented real-world AI failures and harms for hazard identificationOpen, terms of the database
OECD AI Incidents MonitorReported AI incidents and hazards drawn from news sourcesTerms of the OECD
MITRE ATLASAdversary tactics and techniques against AI systemsGratis, ketentuan penggunaan
OWASP Top 10 untuk aplikasi model bahasa besarCommon vulnerability classes in language model and agent systemsCC BY-SA
NIST AI RMF PlaybookSuggested actions for the govern, map, measure and manage functionsDomain publik
Model cards published with open modelsTujuan penggunaan, evaluasi, dan batasan yang diketahui dari suatu model dasarLicence per model
08Keputusan

Siapa yang memutuskan, dan apa yang dilayani bukti.

Foundry menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturan mereka sendiri, dan tidak pernah oleh platform.

Siapa yang memutuskanPertanyaannyaBukti yang dilayani halaman ini
Lembaga pengawasWhether an agent may act in their project, with which tools and on which dataAuthority record, evaluation record, open red-team findings
Pemilik dataApakah data mereka boleh dibaca oleh agen atau digunakan untuk melatih atau menyetel modelKelas data yang tercakup; keputusan pelatihan yang tercatat
ReviewersWhether an agent’s draft may be accepted into evidence or a reportReceipts, sources cited and checked, evidence labels
Pimpinan tata kelola AI dan otoritas pelindungan dataWhether automated processing meets applicable law and the institution’s AI policyImpact assessment, logs, the human oversight record

Keluaran yang dihasilkan topik ini

  • Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
  • Evaluation and red-team records at each promotion
  • Receipts for every agent action
  • Draf berlabel yang tetap berstatus pernyataan sampai ditinjau oleh seseorang
09Pertanyaan inti

What AI and safety engineers ask.

  • What exactly is this agent permitted to do, on which data, in which project?
  • How was the agent and its model evaluated for this use, and by whom?
  • Can every agent action be attributed to an identity, a configuration and a supervising institution?
  • How quickly can a person stop it, and is that stop enforced outside the agent?
10Mekanisme

Catatan otoritas, gerbang, dan tanda terima.

In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.

In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.

11Evaluation and limits

Evaluasi mendahului otoritas.

  1. 01

    Pengujian kontrak

    Integrasi dan agen diuji terhadap kontrak yang dinyatakannya sebelum menerima kewenangan di tenant mana pun.

  2. 02

    Evaluasi model

    Promosi sebuah model memerlukan catatan evaluasi, termasuk hasil red-team bila penggunaannya menuntut hal tersebut.

  3. 03

    Penggunaan data

    Tidak ada data penyewa (tenant) yang digunakan untuk pelatihan tanpa keputusan tercatat dari pemilik data.

  4. 04

    Batasan yang diketahui

    Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.

Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.

12Metode

Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.

  1. Kecerdasan buatan dan pembelajaran mesinModel pengamatan Bumi dengan validasi spasial · Kartu model dan catatan promosiDiterapkan di sini
  2. Rekayasa perangkat lunak dan sistem kritis keselamatanGerbang kebijakan fail-closed · Asal-usul build dan daftar bahan · Kasus penjaminanDiterapkan di sini
  3. Rekayasa sistemInventaris sistem kanonis · Antarmuka berbasis kontrak terlebih dahulu · Persyaratan yang ditelusuri hingga buktiDiterapkan di sini
  4. Rekayasa data, interoperabilitas, dan pengelolaan dataValidasi di batas penyerapan data · Potongan data beku untuk produk yang dapat direproduksiDiterapkan di sini
13Where this page’s references

Where this page’s references lead.

Badan dan dokumen yang menjadi acuan halaman ini. Status dan edisi berubah; setiap tautan menuju badan penerbitnya.

14Pertanyaan

Tanya jawab.

Who is accountable for an agent’s output?
The person who accepts it into evidence, a report or a decision, and the supervising institution named in the agent’s authority record. The agent itself is never the accountable party.
Why are permissions enforced outside the agent?
Because an agent can be manipulated by the content it reads. A policy gate the agent cannot reconfigure denies by default and holds even when the agent’s own reasoning has been subverted.
Apakah data proyek digunakan untuk melatih model?
Not without a recorded decision by the data owner. Training, tuning and evaluation uses are declared separately in the source terms.
Can I connect my own agent?
Akses agen dan integrasi dirancang untuk dibuka bagi proyek yang berwenang, setelah pengujian kontrak terhadap alat dan cakupan yang dinyatakan.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

GCRIFoundryFoundry Build and Readiness
Foundry

Bawa metode, dataset, atau pertanyaan.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.

The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.