GCRI · Intelligence artificielle et systèmes autonomes
Systèmes physiques autonomes
Autonomous vehicles, drones, industrial and service robots sense their surroundings and act in the physical world, where errors can injure people and damage property. Their safety depends on perception, decision-making, fallback behaviour and the environments they are allowed to operate in. This page sets out how autonomous physical systèmes fail, how their safety is assessed, and what evidence serves the regulators, operators and communities involved.
Autonomous physical systems on the record.
Autonomous physical systems: how the risk develops.
Robots, sensors and controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Perception meets the unexpected
Sensors and models misread rare situations: unusual objects, poor weather, glare or confusing road layouts. Rare cases dominate risk because they are hard to test.
Operating domains set limits
systèmes are designed for an operational design domain of roads, weather, speeds or spaces. Failures increase when systems are used outside it.
Handover to humans is hard
Supervisors lose attention when automation works most of the time, and cannot take over instantly when it fails.
Safety cases must be argued
Showing that a system is acceptably safe needs a structured argument combining design, testing, simulation and field data, because driving or operating enough to see rare failures is impractical.
Agent oversight console.
L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Agent oversight console
Autonomous physical systems · Agent sandbox · Session AG-7276
Tool calls
- 10:27Infosearch(documents) · read-only
- 10:20Inforun_model(flood_nowcast) · sandbox
- 10:39Jalonsend_message(external) · needs approval
- 10:45Errorwrite_file(outside workspace) · denied
Politiques
- Périmètre
- workspace only
- External actions
- human approval
- Spend limit
- 11 units
- Kill switch
- Armed
Actions by approval class
Autonomous machines operate in physical domains with physical risks.
Findings are designed for the série Labs Evidence. SAE J3016 defines levels of driving automation, and the EU Machinery Regulation (2023) addresses machines with self-evolving behaviour.
- Field safety incident data.
- Test protocols for autonomy in unstructured settings.
How autonomous physical systems is modelled, measured and tested.
Le modèle, ses hypothèses, ses données et son incertitude, sous la forme qu'un scientifique ou un ingénieur vérifierait. Les structures suivent des méthodes publiées. Les valeurs représentées sont illustratives, ce ne sont pas des résultats.
Modèle de système
The couplings between the systems in autonomous physical systems: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Crashes involving automated driving systèmes | count by severity | mensuel | Mandatory crash reporting | Statistiques publiées |
| Disengagements or interventions | count per distance or hour | annuel | Operator reports to regulators | DÉCLARÉ |
| Distance driven autonomously | kilometres | annuel | Operator reports | DÉCLARÉ |
| Industrial robot injuries | nombre | annuel | Occupational injury statistics | Statistiques publiées |
| Operating domain exceedances | count of events outside design domain | per deployment | Operator logs | OBSERVÉ |
| Drone incidents near aircraft | nombre | annuel | Aviation safety reporting | DÉCLARÉ |
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| NHTSA Standing General Order crash reports | Crashes involving automated driving and driver assistance systèmes in the US | Public domain, US government |
| California DMV autonomous vehicle reports | Collision and disengagement reports from permit holders | Registres publics |
| UNECE regulations on automated driving, including UN Regulation No. 157 | Type approval requirements for automated lane keeping and related systems | Public, UNECE terms |
| ISO 10218 et ISO/TS 15066 | Safety requirements for industrial and collaborative robots | Licensed standards, purchase required |
| National occupational injury statistics | Injuries involving machinery and robots | Public records, licence per government |
Qui décide, et à quoi servent les données probantes.
Studio Intelligence artificielle et systèmes prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Transport and aviation regulators | Whether and where to permit autonomous operation | Crash data with exposure; safety case reviews |
| Workplace safety regulators | What safety requirements to set for robots | Injury statistics; standards |
| Operators and manufacturers | How to define and enforce operating domains | Domain documentation; exceedance logs |
Résultats que produit ce thème
- Safety case review frameworks
- Analyses of crash and intervention reports with exposure stated
- Operational design domain documentation templates
- Evidence notes for regulators
What safety engineers ask.
- Does the system perceive its environment correctly across weather, lighting and unusual objects?
- How does it behave at the edges of its operating conditions, and does it know when it is outside them?
- Can it fail safely, handing over to a person or stopping without creating new hazards?
- How is safety demonstrated when learned components cannot be fully specified?
Where physical autonomy fails.
Perception is the weak link: cameras, lidar and radar each fail differently in rain, glare, dust or darkness, and learned perception models can misclassify rare objects. Planning must handle uncertain predictions of other agents’ behaviour. Control must remain stable as conditions change.
Handover to humans is difficult because people monitoring automation lose situational awareness and may not respond in time. Classical safety engineering assumes components whose behaviour can be fully specified, which learned components are not.
Assurance for systems that move.
- 01
Domaine de conception opérationnel
Defining the conditions a system is designed for and detecting when it leaves them.
- 02
Simulation and scenario testing
Testing across large numbers of simulated scenarios, using robotique et l'automatisation and high-performance, cloud and edge computing. Simulation fidelity limits what it can reveal.
- 03
Safety cases
Structured arguments, supported by evidence, that a system is acceptably safe for a use, drawing on Ingénierie de l'évaluation et de l'assurance de l'IA. A safety case is only as strong as its weakest evidence.
- 04
Field monitoring
Collecting incidents and near misses after deployment. Under-reporting is common.
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Robotique et automatisationTests fondés sur des scénarios · Sécurité des robots collaboratifs · Surveillance du domaine d'exploitationAppliqué ici
- 02Ingénierie de l'évaluation et de l'assurance de l'IADossiers d'assurance pour les systèmes d'IA · Tests adversariaux structurés · Surveillance après déploiementAppliqué ici
- 03Probabilités et statistiquesIncertitude sur les scores de référence · Évaluation de l'étalonnage · Échantillonnage d'auditAppliqué ici
- 04Intelligence artificielle et apprentissage automatiqueAnalyse des glissements de distribution · Ajustement fin pour un usage spécifique · Méthodes d'interprétabilitéAppliqué ici
Where this page’s references lead.
Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.
Questions et réponses.
What is an operational design domain?
Are self-driving cars safer than human drivers?
What is a safety case?
Are autonomous vehicles safer than human drivers?
Can learned components be safety-assured?
Does the platform test products?
Apportez des éléments de preuve depuis cette page.
Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoDépôt ouvertLe déposer et le soumettre à la communautéPubliez votre propre fiche sur Zenodo avec votre identifiant ORCID, puis soumettez-la à la communauté Reports qui s'y trouve. Des curateurs l'examinent ; le DOI reste le vôtre.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.