GCRI · Foundry
Agen dan otomatisasi
Agen AI dapat menyusun draf analisis, menjalankan pipeline, dan menanyakan data dengan kecepatan yang tidak dapat ditandingi tim mana pun, sehingga kewenangan mereka harus dinyatakan secara eksplisit. Agen yang dapat memanggil alat dapat memanggil alat yang salah, membaca data yang tidak semestinya, mengikuti instruksi yang disisipkan dalam dokumen, atau menyajikan draf sebagai bukti yang telah ditinjau. Halaman ini menguraikan bagaimana risiko agen berkembang dan menyebar, bagaimana agen dievaluasi sebelum menerima kewenangan, serta kendali yang memungkinkan manusia menghentikannya.
Agents and automation on the record.
Agen dan otomasi: bagaimana risiko berkembang.
Alat AI, otoritas, dan kendali risiko. Dosir di bawah ini menguraikan bagaimana risiko berkembang, apa yang diukur, dari mana data berasal, bagaimana dimodelkan, dan siapa yang memutuskan.
Tool reach multiplies impact
Each tool an agent can call adds a path from a model error to a real effect: a query, a write, a message, a run. Risk grows with the number of tools and the privileges behind them, not with the model alone.
Instructions arrive in data
Text retrieved from a web page, a document or a dataset can carry instructions the agent then follows. Prompt injection turns ordinary content into a control channel, so tool permissions must never depend on the agent recognising it.
Fluent error looks like evidence
Language models produce confident, well-formatted output that can be wrong, including invented citations and figures. Once an unlabelled draft enters a report, it borrows the authority of the report and the people who signed it.
Automation chains
One agent’s output becomes another’s input, or triggers a pipeline, with no person in between. An early error is copied, transformed and amplified along the chain, and the receipt trail is the only way back to where it started.
Konsol ruang kerja dan pekerjaan.
Layar yang akan digunakan sebuah tim untuk mengikuti subjek ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.
Konsol ruang kerja dan pekerjaan
Agents and automation · Project space 12 · Cluster east
- Pekerjaan berjalan31Aktif
- Waktu tunggu antrean, p508minNormal
- Proses hari ini35924
- Kuota terpakai, % bulan ini64Pantau
Pekerjaan
| J-86161 | Ansambel model banjir | Pemilik proyek | 00:37:12 | Berjalan |
| J-42787 | Render ubin, zoom 0 hingga 12 | Ruang kerja GIS | 00:02:40 | Berjalan |
| J-76872 | Ekspor bukti | Penanggung jawab model | 00:00:47 | Selesai |
| J-55145 | Kumpulan panggilan alat agen | Sandbox agen | 00:01:16 | Pemblokiran kebijakan |
Peristiwa kebijakan
- 10:25GerbangPanggilan agen memerlukan persetujuan manusia
- 10:51InfoRun record sealed
- 11:34PeringatanKuota 80 persen untuk proyek
Automation in Foundry is designed to keep humans in charge in every domain.
- AirDalam praktikPemeriksaan data otomatis menandai anomali untuk ditinjau oleh manusia.Apa yang dapat diperiksa pembacaLog tinjauan
- EnergyIn practiceNo automated action touches a real system.What a reader can checkAction boundaries
- HealthIn practiceAgents never access personal health data without basis.What a reader can checkAccess logs
Agent governance follows ISO/IEC 42001 and NIST’s AI RMF; agents and models carry NS-12 cards under the proposed Nexus Standards. Findings go to the Exponential Technology series.
- Security and safety reviews.
- Oversight design proposals.
How agents and automation is modelled, measured and tested.
Model, asumsi, data, dan ketidakpastiannya, dalam bentuk yang akan diperiksa ilmuwan atau insinyur. Strukturnya mengikuti metode yang dipublikasikan. Nilai yang digambar bersifat ilustratif, bukan temuan.
Model, persamaan, dan asumsi
The model structure used for agents and automation, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)bahaya, keterpaparan, kerentanan, dan kapasitas penanggulanganEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Asumsi | Mengapa ini dibuat | Bagaimana ini diuji |
|---|---|---|
| Bahaya dan eksposur bersifat independen dalam satu peristiwa | Menjaga integral kerugian tetap dapat dihitung | Bandingkan dengan pencocokan kopula pada catatan gabungan |
| Keterkaitan bersifat linear di dekat titik operasi | Membiarkan guncangan merambat melalui A | Uji di luar rentang linear lalu bandingkan |
| Kurva kerentanan dapat dipindahkan antartempat | Kurva lokal jarang tersedia | Validasi terhadap kerugian teramati jika tersedia |
- Masukan
- dataset berversi dengan asal-usul yang tercatat
- Keluaran
- distribusi, bukan angka tunggal
- Kode
- dirilis bersama kartu model dan pengujiannya
- Reproduksi
- data, kode, lingkungan, dan seed yang sama
Apa yang diukur, dan seberapa baik.
Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.
| Indikator | Unit | Kadensi | Jenis sumber | Label |
|---|---|---|---|---|
| Active agents with a current authority record | proporsi agen aktif | setiap minggu | Authority register | DINYATAKAN |
| Tool calls denied at the policy gate | count per agent per period | setiap hari | Policy gate logs | TERAMATI |
| Time from kill-switch activation to halt | detik | per drill or event | Gate and runtime logs | TERAMATI |
| Keluaran agen yang diterima setelah tinjauan manusia | proporsi keluaran | setiap bulan | Catatan tinjauan | TERAMATI |
| Red-team findings open at promotion | jumlah menurut tingkat keparahan | per versi model | Catatan evaluasi | DILAPORKAN |
| Unsupported claims found in sampled outputs | jumlah per sampel | setiap bulan | Audit oleh pereviu | TERAMATI |
| Tindakan agen dengan tanda terima lengkap | proporsi tindakan | setiap hari | Penyimpanan tanda terima | TERAMATI |
Asal bukti.
Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.
| Sumber | Apa yang diberikannya | Kelas lisensi |
|---|---|---|
| AI Incident Database | Documented real-world AI failures and harms for hazard identification | Open, terms of the database |
| OECD AI Incidents Monitor | Reported AI incidents and hazards drawn from news sources | Terms of the OECD |
| MITRE ATLAS | Adversary tactics and techniques against AI systems | Gratis, ketentuan penggunaan |
| OWASP Top 10 untuk aplikasi model bahasa besar | Common vulnerability classes in language model and agent systems | CC BY-SA |
| NIST AI RMF Playbook | Suggested actions for the govern, map, measure and manage functions | Domain publik |
| Model cards published with open models | Tujuan penggunaan, evaluasi, dan batasan yang diketahui dari suatu model dasar | Licence per model |
Siapa yang memutuskan, dan apa yang dilayani bukti.
Foundry menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturan mereka sendiri, dan tidak pernah oleh platform.
| Siapa yang memutuskan | Pertanyaannya | Bukti yang dilayani halaman ini |
|---|---|---|
| Lembaga pengawas | Whether an agent may act in their project, with which tools and on which data | Authority record, evaluation record, open red-team findings |
| Pemilik data | Apakah data mereka boleh dibaca oleh agen atau digunakan untuk melatih atau menyetel model | Kelas data yang tercakup; keputusan pelatihan yang tercatat |
| Reviewers | Whether an agent’s draft may be accepted into evidence or a report | Receipts, sources cited and checked, evidence labels |
| Pimpinan tata kelola AI dan otoritas pelindungan data | Whether automated processing meets applicable law and the institution’s AI policy | Impact assessment, logs, the human oversight record |
Keluaran yang dihasilkan topik ini
- Authority records per agent: purpose, tools, data classes, budget, kill-switch and supervisor
- Evaluation and red-team records at each promotion
- Receipts for every agent action
- Draf berlabel yang tetap berstatus pernyataan sampai ditinjau oleh seseorang
What AI and safety engineers ask.
- What exactly is this agent permitted to do, on which data, in which project?
- How was the agent and its model evaluated for this use, and by whom?
- Can every agent action be attributed to an identity, a configuration and a supervising institution?
- How quickly can a person stop it, and is that stop enforced outside the agent?
Catatan otoritas, gerbang, dan tanda terima.
In the design of the NXS-NSF (trust, authorisation and assurance) Sovereignty Framework (NXS-NSF), every agent and tool holds an authority record that states its purpose, the tools it may call, the data classes it may touch, its rate limits and its kill-switch. Requests without an explicit policy decision fail closed. Agent actions pass the same policy gates and receive the same receipts as human actions, and scopes and kill-switches are enforced at the gate rather than left to the agent’s own configuration.
In NXS-LAB (research, experiments and simulations), agents may run analyses and draft artefacts, but each action is bound to an agent identity, model, tool set, budget and supervising institution, and remains an assertion until a person reviews it. In NXS-STU (composition, dashboards and workflows), agent behaviour inside a composition is declared with its purpose, tools and scope.
Evaluasi mendahului otoritas.
- 01
Pengujian kontrak
Integrasi dan agen diuji terhadap kontrak yang dinyatakannya sebelum menerima kewenangan di tenant mana pun.
- 02
Evaluasi model
Promosi sebuah model memerlukan catatan evaluasi, termasuk hasil red-team bila penggunaannya menuntut hal tersebut.
- 03
Penggunaan data
Tidak ada data penyewa (tenant) yang digunakan untuk pelatihan tanpa keputusan tercatat dari pemilik data.
- 04
Batasan yang diketahui
Evaluations sample behaviour and cannot exclude every failure; language models can produce fluent, wrong output; and tool-use risks grow with the number of tools an agent can reach. Narrow scopes and human review are the main mitigations.
Agents never take a decision that belongs to an institution or a competent authority, issue a warning, release funds, dispatch resources, sign an acceptance or present a draft as reviewed evidence.
Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.
- 01Kecerdasan buatan dan pembelajaran mesinModel pengamatan Bumi dengan validasi spasial · Kartu model dan catatan promosiDiterapkan di sini
- 02Rekayasa perangkat lunak dan sistem kritis keselamatanGerbang kebijakan fail-closed · Asal-usul build dan daftar bahan · Kasus penjaminanDiterapkan di sini
- 03Rekayasa sistemInventaris sistem kanonis · Antarmuka berbasis kontrak terlebih dahulu · Persyaratan yang ditelusuri hingga buktiDiterapkan di sini
- 04Rekayasa data, interoperabilitas, dan pengelolaan dataValidasi di batas penyerapan data · Potongan data beku untuk produk yang dapat direproduksiDiterapkan di sini
Where this page’s references lead.
Badan dan dokumen yang menjadi acuan halaman ini. Status dan edisi berubah; setiap tautan menuju badan penerbitnya.
Tanya jawab.
Who is accountable for an agent’s output?
Why are permissions enforced outside the agent?
Apakah data proyek digunakan untuk melatih model?
Can I connect my own agent?
Kontribusikan bukti dari halaman ini.
Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.
- SurelGerbang GW-GCRIKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- LaporanGCRILihat semua cara berkontribusiJenis kontribusi, cara masing-masing ditinjau, kredit yang Anda terima, lisensinya, dan apa yang tidak pernah diterima.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Bawa metode, dataset, atau pertanyaan.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Dokumen hukum.
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.