GCRI · Yapay Zekâ ve Otonom Sistemler
Özerk fiziksel sistemler
Autonomous vehicles, drones, industrial and service robots sense their surroundings and act in the physical world, where errors can injure people and damage property. Their safety depends on perception, decision-making, fallback behaviour and the environments they are allowed to operate in. This page sets out how autonomous physical sistemleri fail, how their safety is assessed, and what evidence serves the regulators, operators and communities involved.
Autonomous physical systems on the record.
Autonomous physical systems: how the risk develops.
Robots, sensors and controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Perception meets the unexpected
Sensors and models misread rare situations: unusual objects, poor weather, glare or confusing road layouts. Rare cases dominate risk because they are hard to test.
Operating domains set limits
Sistem are designed for an operational design domain of roads, weather, speeds or spaces. Failures increase when systems are used outside it.
Handover to humans is hard
Supervisors lose attention when automation works most of the time, and cannot take over instantly when it fails.
Safety cases must be argued
Showing that a system is acceptably safe needs a structured argument combining design, testing, simulation and field data, because driving or operating enough to see rare failures is impractical.
Agent oversight console.
Bir ekibin bu konuyu izlemek için kullanacağı ekran: ölçütleri, durumları ve kararları. Adlar örnektir ve değerler açıklayıcıdır.
Agent oversight console
Autonomous physical systems · Agent sandbox · Session AG-7276
Tool calls
- 10:27Bilgisearch(documents) · read-only
- 10:20Bilgirun_model(flood_nowcast) · sandbox
- 10:39Geçitsend_message(external) · needs approval
- 10:45Errorwrite_file(outside workspace) · denied
Politika
- Kapsam
- workspace only
- External actions
- human approval
- Spend limit
- 11 units
- Kill switch
- Armed
Actions by approval class
Autonomous machines operate in physical domains with physical risks.
Findings are designed for the Labs Kanıt serisi. SAE J3016 defines levels of driving automation, and the EU Machinery Regulation (2023) addresses machines with self-evolving behaviour.
- Field safety incident data.
- Test protocols for autonomy in unstructured settings.
How autonomous physical systems is modelled, measured and tested.
Model, varsayımları, verileri ve belirsizliği, bir bilim insanının veya mühendisin kontrol edeceği biçimde. Yapılar yayımlanmış yöntemleri izler. Çizilen değerler bulgu değil, açıklayıcıdır.
Sistem modeli
The couplings between the systems in autonomous physical systems: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
Neyin ve ne kadar iyi ölçüldüğü.
Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.
| Gösterge | Birim | Sıklık | Kaynak türü | Etiket |
|---|---|---|---|---|
| Crashes involving automated driving sistemleri | count by severity | aylık | Mandatory crash reporting | Yayımlanmış istatistikler |
| Disengagements or interventions | count per distance or hour | yıllık | Operator reports to regulators | BİLDİRİLMİŞ |
| Distance driven autonomously | kilometres | yıllık | Operator reports | BEYAN EDİLDİ |
| Industrial robot injuries | sayı | yıllık | Occupational injury statistics | Yayımlanmış istatistikler |
| Operating domain exceedances | count of events outside design domain | per deployment | Operator logs | GÖZLENEN |
| Drone incidents near aircraft | sayı | yıllık | Aviation safety reporting | BİLDİRİLMİŞ |
Kanıtın nereden geldiği.
Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.
| Kaynak | Sağladıkları | Lisans sınıfı |
|---|---|---|
| NHTSA Standing General Order crash reports | Crashes involving automated driving and driver assistance sistemleri in the US | Public domain, US government |
| California DMV autonomous vehicle reports | Collision and disengagement reports from permit holders | Kamu kayıtları |
| UNECE regulations on automated driving, including UN Regulation No. 157 | Type approval requirements for automated lane keeping and related systems | Public, UNECE terms |
| ISO 10218 ve ISO/TS 15066 | Safety requirements for industrial and collaborative robots | Licensed standards, purchase required |
| Ulusal occupational injury statistics | Injuries involving machinery and robots | Public records, licence per government |
Kim karar verir ve kanıt neye hizmet eder.
Yapay Zekâ ve Otonom Sistem prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Kim karar verir | Soru | Bu sayfanın hizmet ettiği kanıt |
|---|---|---|
| Transport and aviation regulators | Whether and where to permit autonomous operation | Crash data with exposure; safety case reviews |
| Workplace safety regulators | What safety requirements to set for robots | Injury statistics; standards |
| Operators and manufacturers | How to define and enforce operating domains | Domain documentation; exceedance logs |
Bu konunun ürettiği çıktılar
- Safety case review frameworks
- Analyses of crash and intervention reports with exposure stated
- Operational design domain documentation templates
- Evidence notes for regulators
What safety engineers ask.
- Does the system perceive its environment correctly across weather, lighting and unusual objects?
- How does it behave at the edges of its operating conditions, and does it know when it is outside them?
- Can it fail safely, handing over to a person or stopping without creating new hazards?
- How is safety demonstrated when learned components cannot be fully specified?
Where physical autonomy fails.
Perception is the weak link: cameras, lidar and radar each fail differently in rain, glare, dust or darkness, and learned perception models can misclassify rare objects. Planning must handle uncertain predictions of other agents’ behaviour. Control must remain stable as conditions change.
Handover to humans is difficult because people monitoring automation lose situational awareness and may not respond in time. Classical safety engineering assumes components whose behaviour can be fully specified, which learned components are not.
Assurance for systems that move.
- 01
Operasyonel tasarım alanı
Defining the conditions a system is designed for and detecting when it leaves them.
- 02
Simulation and scenario testing
Testing across large numbers of simulated scenarios, using robotik ve otomasyon and high-performance, cloud and edge computing. Simulation fidelity limits what it can reveal.
- 03
Safety cases
Structured arguments, supported by evidence, that a system is acceptably safe for a use, drawing on Yapay zekâ değerlendirme ve güvence mühendisliği. A safety case is only as strong as its weakest evidence.
- 04
Field monitoring
Collecting incidents and near misses after deployment. Under-reporting is common.
Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.
- 01Robotik ve otomasyonSenaryo tabanlı test · İşbirlikçi robot güvenliği · Çalışma alanı izlemeBurada uygulanır
- 02Yapay zekâ değerlendirme ve güvence mühendisliğiYapay zekâ sistemleri için güvence gerekçeleri · Yapılandırılmış kırmızı takım çalışması · Kullanıma alma sonrası izlemeBurada uygulanır
- 03Olasılık ve istatistikKıyaslama puanlarındaki belirsizlik · Kalibrasyon değerlendirmesi · Denetim örneklemesiBurada uygulanır
- 04Yapay zekâ ve makine öğrenmesiDağılım kayması analizi · Belirli bir kullanım için ince ayar · Yorumlanabilirlik yöntemleriBurada uygulanır
Where this page’s references lead.
Bu sayfanın karşılaştırıldığı kuruluşlar ve belgeler. Durumlar ve sürümler değişir; her bağlantı yayımlayan kuruluşa gider.
Sorular ve yanıtlar.
What is an operational design domain?
Are self-driving cars safer than human drivers?
What is a safety case?
Are autonomous vehicles safer than human drivers?
Can learned components be safety-assured?
Does the platform test products?
Bu sayfadan kanıt katkısında bulunun.
Raporlar is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-postaGW-GCRI geçidiBu sayfadan gönderinKanıt, bir düzeltme, bir vaka, bir yöntem, bir inceleme, bir çeviri veya profil girdisi. Bu sayfayla etiketlenmiş olarak gelir; böylece sayfanın sahibi editör onu alır.
- ZenodoAçık depoDepolayın ve topluluğa gönderinKendi kaydınızı ORCID iD'nizle Zenodo'da yayımlayın, ardından orada Reports topluluğuna gönderin. Küratörler inceler; DOI sizde kalır.
- RaporlarGCRIKatkıda bulunmanın tüm yollarını görünKatkı türleri, her birinin nasıl incelendiği, alacağınız atıf, lisans ve asla kabul edilmeyenler.
Hiçbir zaman kişisel veri, hassas altyapı ayrıntısı veya paylaşma hakkınız olmayan hiçbir şey göndermeyin. Bir katkı kullanılmadan önce incelenir. Katkıyı göndermek yazarlık veya editoryal hak sağlamaz ve sponsorluk hiçbir zaman bir bulgu satın almaz.
Bir yöntem, bir veri seti ya da bir soru getirin.
Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.
Hukuki belgeler.
Bu sitedeki haritalar, veriler ve şekiller bağlam ve genel bilgi amacıyla gösterilir. Tavsiye, tahmin ya da uyarı değildir; bilgilerin sınırları Sorumluluk Reddi ve Veri Bildirimleri'nde açıklanmıştır.