GCRI · الذكاء الاصطناعي والنظم المستقلة
النظم المادية المستقلة
Autonomous vehicles, drones, industrial and service robots sense their surroundings and act in the physical world, where errors can injure people and damage property. Their safety depends on perception, decision-making, fallback behaviour and the environments they are allowed to operate in. This page sets out how autonomous physical النظم fail, how their safety is assessed, and what evidence serves the regulators, operators and communities involved.
Autonomous physical systems on the record.
Autonomous physical systems: how the risk develops.
Robots, sensors and controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Perception meets the unexpected
Sensors and models misread rare situations: unusual objects, poor weather, glare or confusing road layouts. Rare cases dominate risk because they are hard to test.
Operating domains set limits
النظم are designed for an operational design domain of roads, weather, speeds or spaces. Failures increase when systems are used outside it.
Handover to humans is hard
Supervisors lose attention when automation works most of the time, and cannot take over instantly when it fails.
Safety cases must be argued
Showing that a system is acceptably safe needs a structured argument combining design, testing, simulation and field data, because driving or operating enough to see rare failures is impractical.
Agent oversight console.
الشاشة التي قد يستخدمها فريق لمتابعة هذا الموضوع: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.
Agent oversight console
Autonomous physical systems · Agent sandbox · Session AG-7276
Tool calls
- 10:27معلوماتsearch(documents) · read-only
- 10:20معلوماتrun_model(flood_nowcast) · sandbox
- 10:39البوابةsend_message(external) · needs approval
- 10:45Errorwrite_file(outside workspace) · denied
السياسات
- النطاق
- workspace only
- External actions
- human approval
- Spend limit
- 11 units
- Kill switch
- Armed
Actions by approval class
Autonomous machines operate in physical domains with physical risks.
Findings are designed for the سلسلة أدلة Labs. SAE J3016 defines levels of driving automation, and the EU Machinery Regulation (2023) addresses machines with self-evolving behaviour.
- Field safety incident data.
- Test protocols for autonomy in unstructured settings.
How autonomous physical systems is modelled, measured and tested.
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
نموذج النظام
The couplings between the systems in autonomous physical systems: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
ما الذي يُقاس، ومدى جودة قياسه.
يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.
| المؤشر | الوحدة | وتيرة الإصدار | نوع المصدر | الوسم |
|---|---|---|---|---|
| Crashes involving automated driving النظم | count by severity | شهري | Mandatory crash reporting | الإحصاءات المنشورة |
| Disengagements or interventions | count per distance or hour | سنوي | Operator reports to regulators | مُبلَّغ عنه |
| Distance driven autonomously | kilometres | سنوي | Operator reports | مُعلَن |
| Industrial robot injuries | العدد | سنوي | Occupational injury statistics | الإحصاءات المنشورة |
| Operating domain exceedances | count of events outside design domain | per deployment | Operator logs | مرصود |
| Drone incidents near aircraft | العدد | سنوي | Aviation safety reporting | مُبلَّغ عنه |
من أين تأتي الأدلة.
مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.
| المصدر | ما يقدّمه | فئة الترخيص |
|---|---|---|
| NHTSA Standing General Order crash reports | Crashes involving automated driving and driver assistance النظم in the US | Public domain, US government |
| California DMV autonomous vehicle reports | Collision and disengagement reports from permit holders | السجلات العامة |
| UNECE regulations on automated driving, including UN Regulation No. 157 | Type approval requirements for automated lane keeping and related systems | Public, UNECE terms |
| ISO 10218 وISO/TS 15066 | Safety requirements for industrial and collaborative robots | Licensed standards, purchase required |
| وطني occupational injury statistics | Injuries involving machinery and robots | Public records, licence per government |
من يقرر، وما الذي تخدمه الأدلة.
استوديو الذكاء الاصطناعي و النظم prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| من يقرر | السؤال | الأدلة التي تخدمها هذه الصفحة |
|---|---|---|
| Transport and aviation regulators | Whether and where to permit autonomous operation | Crash data with exposure; safety case reviews |
| Workplace safety regulators | What safety requirements to set for robots | Injury statistics; standards |
| Operators and manufacturers | How to define and enforce operating domains | Domain documentation; exceedance logs |
المخرجات التي يُنتجها هذا الموضوع
- Safety case review frameworks
- Analyses of crash and intervention reports with exposure stated
- Operational design domain documentation templates
- Evidence notes for regulators
What safety engineers ask.
- Does the system perceive its environment correctly across weather, lighting and unusual objects?
- How does it behave at the edges of its operating conditions, and does it know when it is outside them?
- Can it fail safely, handing over to a person or stopping without creating new hazards?
- How is safety demonstrated when learned components cannot be fully specified?
Where physical autonomy fails.
Perception is the weak link: cameras, lidar and radar each fail differently in rain, glare, dust or darkness, and learned perception models can misclassify rare objects. Planning must handle uncertain predictions of other agents’ behaviour. Control must remain stable as conditions change.
Handover to humans is difficult because people monitoring automation lose situational awareness and may not respond in time. Classical safety engineering assumes components whose behaviour can be fully specified, which learned components are not.
Assurance for systems that move.
- 01
نطاق التصميم التشغيلي
Defining the conditions a system is designed for and detecting when it leaves them.
- 02
Simulation and scenario testing
Testing across large numbers of simulated scenarios, using الروبوتات والأتمتة and high-performance, cloud and edge computing. Simulation fidelity limits what it can reveal.
- 03
Safety cases
Structured arguments, supported by evidence, that a system is acceptably safe for a use, drawing on هندسة تقييم الذكاء الاصطناعي وضمانه. A safety case is only as strong as its weakest evidence.
- 04
Field monitoring
Collecting incidents and near misses after deployment. Under-reporting is common.
كيف يُدرس، وما لا تستطيع المناهج قوله.
- 01الروبوتات والأتمتةالاختبار القائم على السيناريوهات · سلامة الروبوتات التعاونية · رصد نطاق التشغيلمُطبَّق هنا
- 02هندسة تقييم الذكاء الاصطناعي وضمانهحالات الضمان لنظم الذكاء الاصطناعي · الاختبار العدائي المنظم · الرصد بعد النشرمُطبَّق هنا
- 03الاحتمالات والإحصاءعدم اليقين في درجات الاختبارات المعيارية · تقييم المعايرة · أخذ العينات للتدقيقمُطبَّق هنا
- 04الذكاء الاصطناعي وتعلم الآلةتحليل تحول التوزيع · الضبط الدقيق لاستخدام محدد · أساليب قابلية التفسيرمُطبَّق هنا
Where this page’s references lead.
الهيئات والوثائق التي تُقرأ هذه الصفحة في ضوئها. وتتغير الحالات والإصدارات؛ ويقود كل رابط إلى الهيئة المُصدِرة.
أسئلة وأجوبة.
What is an operational design domain?
Are self-driving cars safer than human drivers?
What is a safety case?
Are autonomous vehicles safer than human drivers?
Can learned components be safety-assured?
Does the platform test products?
ساهم بأدلة من هذه الصفحة.
التقارير is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- البريد الإلكترونيالبوابة GW-GCRIأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- التقاريرGCRIاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
قدّم منهجية أو مجموعة بيانات أو سؤالا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.