GCRI · Искусственный интеллект и автономные системы
Автономные физические системы
Autonomous vehicles, drones, industrial and service robots sense their surroundings and act in the physical world, where errors can injure people and damage property. Their safety depends on perception, decision-making, fallback behaviour and the environments they are allowed to operate in. This page sets out how autonomous physical системы fail, how their safety is assessed, and what evidence serves the regulators, operators and communities involved.
Autonomous physical systems on the record.
Autonomous physical systems: how the risk develops.
Robots, sensors and controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Perception meets the unexpected
Sensors and models misread rare situations: unusual objects, poor weather, glare or confusing road layouts. Rare cases dominate risk because they are hard to test.
Operating domains set limits
Системная are designed for an operational design domain of roads, weather, speeds or spaces. Failures increase when systems are used outside it.
Handover to humans is hard
Supervisors lose attention when automation works most of the time, and cannot take over instantly when it fails.
Safety cases must be argued
Showing that a system is acceptably safe needs a structured argument combining design, testing, simulation and field data, because driving or operating enough to see rare failures is impractical.
Agent oversight console.
Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.
Agent oversight console
Autonomous physical systems · Agent sandbox · Session AG-7276
Tool calls
- 10:27Информацияsearch(documents) · read-only
- 10:20Информацияrun_model(flood_nowcast) · sandbox
- 10:39Контрольная точкаsend_message(external) · needs approval
- 10:45Errorwrite_file(outside workspace) · denied
Политика
- Охват
- workspace only
- External actions
- human approval
- Spend limit
- 11 units
- Kill switch
- Armed
Actions by approval class
Autonomous machines operate in physical domains with physical risks.
- ПродовольствиеВзаимосвязиAutonomous farm machinery operates near people and animals.What to watchSafety incidents
- ЭнергетикаВзаимосвязиDrones and robots inspect and repair grids.What to watchInspection reliability
- ЗдравоохранениеВзаимосвязиRobots in hospitals need safety and hygiene controls.What to watchIncident reports
Findings are designed for the серии Labs Evidence. SAE J3016 defines levels of driving automation, and the EU Machinery Regulation (2023) addresses machines with self-evolving behaviour.
- Field safety incident data.
- Test protocols for autonomy in unstructured settings.
How autonomous physical systems is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Модель системы
The couplings between the systems in autonomous physical systems: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Crashes involving automated driving системы | count by severity | ежемесячно | Mandatory crash reporting | Опубликованная статистика |
| Disengagements or interventions | count per distance or hour | ежегодно | Operator reports to regulators | СООБЩЕНО |
| Distance driven autonomously | kilometres | ежегодно | Operator reports | ЗАДЕКЛАРИРОВАНО |
| Industrial robot injuries | количество | ежегодно | Occupational injury statistics | Опубликованная статистика |
| Operating domain exceedances | count of events outside design domain | per deployment | Operator logs | НАБЛЮДАЕМО |
| Drone incidents near aircraft | количество | ежегодно | Aviation safety reporting | СООБЩЕНО |
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| NHTSA Standing General Order crash reports | Crashes involving automated driving and driver assistance системы in the US | Public domain, US government |
| California DMV autonomous vehicle reports | Collision and disengagement reports from permit holders | Публичные записи |
| UNECE regulations on automated driving, including UN Regulation No. 157 | Type approval requirements for automated lane keeping and related systems | Public, UNECE terms |
| ISO 10218 и ISO/TS 15066 | Safety requirements for industrial and collaborative robots | Licensed standards, purchase required |
| Национальный уровень occupational injury statistics | Injuries involving machinery and robots | Public records, licence per government |
Кто принимает решения и чему служит доказательная база.
Студия «Искусственный интеллект и автономные Системная prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Transport and aviation regulators | Whether and where to permit autonomous operation | Crash data with exposure; safety case reviews |
| Workplace safety regulators | What safety requirements to set for robots | Injury statistics; standards |
| Operators and manufacturers | How to define and enforce operating domains | Domain documentation; exceedance logs |
Результаты, которые даёт эта тема
- Safety case review frameworks
- Analyses of crash and intervention reports with exposure stated
- Operational design domain documentation templates
- Evidence notes for regulators
What safety engineers ask.
- Does the system perceive its environment correctly across weather, lighting and unusual objects?
- How does it behave at the edges of its operating conditions, and does it know when it is outside them?
- Can it fail safely, handing over to a person or stopping without creating new hazards?
- How is safety demonstrated when learned components cannot be fully specified?
Where physical autonomy fails.
Perception is the weak link: cameras, lidar and radar each fail differently in rain, glare, dust or darkness, and learned perception models can misclassify rare objects. Planning must handle uncertain predictions of other agents’ behaviour. Control must remain stable as conditions change.
Handover to humans is difficult because people monitoring automation lose situational awareness and may not respond in time. Classical safety engineering assumes components whose behaviour can be fully specified, which learned components are not.
Assurance for systems that move.
- 01
Операционная проектная область
Defining the conditions a system is designed for and detecting when it leaves them.
- 02
Simulation and scenario testing
Testing across large numbers of simulated scenarios, using робототехника и автоматизация and high-performance, cloud and edge computing. Simulation fidelity limits what it can reveal.
- 03
Safety cases
Structured arguments, supported by evidence, that a system is acceptably safe for a use, drawing on Инженерия оценки и обеспечения уверенности в ИИ. A safety case is only as strong as its weakest evidence.
- 04
Field monitoring
Collecting incidents and near misses after deployment. Under-reporting is common.
Как это изучается и чего методы не могут сказать.
- 01Робототехника и автоматизацияТестирование на основе сценариев · Безопасность коллаборативных роботов · Мониторинг эксплуатационной областиПрименяется здесь
- 02Инженерия оценки и обеспечения уверенности в ИИОбоснования для обеспечения уверенности в системах ИИ · Структурированное тестирование «красной командой» · Мониторинг после развёртыванияПрименяется здесь
- 03Теория вероятностей и статистикаНеопределённость оценок на эталонных тестах · Оценка калибровки · Выборка для аудитаПрименяется здесь
- 04Искусственный интеллект и машинное обучениеАнализ сдвига распределения · Дообучение для конкретного применения · Методы интерпретируемостиПрименяется здесь
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
Вопросы и ответы.
What is an operational design domain?
Are self-driving cars safer than human drivers?
What is a safety case?
Are autonomous vehicles safer than human drivers?
Can learned components be safety-assured?
Does the platform test products?
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.