GCRI · Intelligence artificielle et systèmes autonomes
Méthodes et incertitude
The methods Artificial Intelligence and Autonomous systèmes relies on: their equations and assumptions, the data they need, how they are validated and the limits of what they can show.
L'ordre dans lequel les choses se produisent.
- 01Brouillonsources citées, étiquettes jointes
- 02Vérification des données probanteschaque valeur tracée
- 03Examen indépendantconflits déclarés
- 04Éditionpublié avec ses limites
- 05Correctionune nouvelle version, jamais une modification silencieuse
Les méthodes utilisées.
- 01Intelligence artificielle et apprentissage automatiqueAnalyse des glissements de distribution · Ajustement fin pour un usage spécifique · Méthodes d'interprétabilitéAppliqué ici
- 02Ingénierie de l'évaluation et de l'assurance de l'IADossiers d'assurance pour les systèmes d'IA · Tests adversariaux structurés · Surveillance après déploiementAppliqué ici
- 03Calcul haute performance, en nuage et en périphérieAccès au calcul pour la recherche publique · Mesure énergétique des charges de travailAppliqué ici
- 04Probabilités et statistiquesIncertitude sur les scores de référence · Évaluation de l'étalonnage · Échantillonnage d'auditAppliqué ici
- 05Cybersécurité et cryptographieModélisation des menaces pour les applications d'IA · Intégrité de la chaîne d'approvisionnement des modèles · Tests de défense contre l'injectionAppliqué ici
- 06Sciences sociales et comportementalesÉtudes sur la supervision humaine · Recherche auprès des communautés touchées · Études sur l'adoption au travailAppliqué ici
- 07Robotique et automatisationTests fondés sur des scénarios · Sécurité des robots collaboratifs · Surveillance du domaine d'exploitationAppliqué ici
Each method, its role in this field and how it is checked.
- Ai MLRole hereArtificial intelligence and machine learning is the technology this platform stewards for the network.Checks appliedHeld-out evaluation; Dataset documentation; Drift monitoring
- Ai assuranceRole hereAI evaluation and assurance engineering is the second method this platform stewards.Checks appliedIndependent review; Evidence currency; Coverage reporting
- ComputingRole hereHigh-performance and cloud computing supply the capacity AI needs.Checks appliedMeasurement boundaries; Reproducible configuration; Provider data verification
- Probability statisticsRole hereProbability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits.Checks appliedInterval reporting; Multiple comparisons; Sample size planning
- CybersécuritéRole hereCybersecurity and cryptography protect AI systems and the data they use.Checks appliedThreat model review; Provenance verification; Regression testing
- Sciences socialesRole hereSocial and behavioural science studies how people use, trust and are affected by AI.Checks appliedEthics review; Pre-registration; Representative sampling
- RobotiqueRole hereRobotics and automation bring AI into physical systems.Checks appliedScenario coverage; Simulation validity; Standards conformity
Comment le processus se déroule.
Process explorer · Process
Methods and uncertainty: PRISMA 2020 review reporting
10 steps·4 étapes
Processus
Methods and uncertainty: PRISMA 2020 review reporting
PRISMA 2020 est une ligne directrice de déclaration pour les revues systématiques ; les étapes suivent sa liste de contrôle, et non une séquence imposée, et aucun document Nexus ne l'adopte.
01 Plan
- 01Enregistrement et protocoleRegistre · L'équipe de revueLa ligne directrice demande les informations d'enregistrement, l'accès au protocole et toute modification.
- 02Critères d'éligibilitéRegistre · L'équipe de revueLa ligne directrice demande les critères d'inclusion et d'exclusion et la manière dont les études ont été regroupées.
02 Rechercher et sélectionner
- 03Recherche : sources et stratégiesÉtape · L'équipe de revueLa ligne directrice demande les sources d'information et les stratégies de recherche complètes. Elle ne fixe pas les sources à utiliser.
- 04Sélection des étudesÉtape · L'équipe de revueLa ligne directrice demande comment l'éligibilité des études a été jugée, y compris le nombre d'examinateurs ayant procédé à la sélection. Elle ne fixe pas le nombre d'examinateurs.
- 05Diagramme de fluxEnregistrementLe diagramme de flux indique le nombre d'enregistrements trouvés, le nombre d'études incluses et les motifs d'exclusion.
03 Analyser
- 06Collecte des donnéesÉtape · L'équipe de revueLa ligne directrice demande comment les données ont été extraites des rapports et quelles variables ont été recherchées.
- 07Risque de biaisÉtape · L'équipe de revueLa ligne directrice demande les méthodes et les outils utilisés pour évaluer le risque de biais.
- 08SynthèseModèle · L'équipe de revueLa ligne directrice demande les mesures d'effet et les méthodes de synthèse. Elle n'impose pas de méta-analyse.
- 09Certitude des éléments probantsÉtape · L'équipe de revueLa ligne directrice demande les méthodes utilisées pour évaluer la certitude, et en indique le résultat par critère de jugement. Elle ne nomme pas d'échelle de gradation.
04 Rapport
- 10Rapport d'examenEnregistrementLa ligne directrice aide les auteurs à indiquer pourquoi la revue a été réalisée, ce qu'ils ont fait et ce qu'ils ont trouvé.
RapportsOutline of an externally published reporting guideline, not a Nexus process and not a record of operation. PRISMA 2020 mainly covers reviews of intervention effects. No Nexus page names it. Every programme is at service level R0.
Where uncertainty in AI analysis comes from, and how it is shown.
| Sources | Why it matters here | How it is reported |
|---|---|---|
| Benchmark validity | Benchmarks saturate and leak into training data | Several evaluations, held-out tests, dates stated |
| Capability elicitation | Measured capability depends on prompting and tools | Elicitation effort described |
| Deployment context | Risk depends on use, not only the model | Use-specific assessment |
| Incident data | Reporting is voluntary and uneven | Incident sources and coverage stated |
Evaluation results carry the model version, date and setup; AI capability changes quickly and old results expire.
Comment l'incertitude est indiquée.
- 01
Énoncer les hypothèses
Chaque analyse liste ses hypothèses et les données dont elle dépend.
- 02
Quantifier lorsque c'est possible
Les fourchettes et les niveaux de confiance sont indiqués à côté des estimations centrales.
- 03
Valider et comparer
Les modèles sont confrontés aux observations et, lorsque c'est possible, à d'autres modèles.
- 04
Publier les limites
Ce qu'une analyse ne peut pas montrer est indiqué à côté de ce qu'elle peut montrer.
Where this page’s references lead.
Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.
Questions et réponses.
Les méthodes sont-elles ouvertes ?
Apportez des éléments de preuve depuis cette page.
Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoDépôt ouvertLe déposer et le soumettre à la communautéPubliez votre propre fiche sur Zenodo avec votre identifiant ORCID, puis soumettez-la à la communauté Reports qui s'y trouve. Des curateurs l'examinent ; le DOI reste le vôtre.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.