GCRI · Künstliche Intelligenz und autonome Systeme
Methoden und Unsicherheit
The methods Artificial Intelligence and Autonomous System relies on: their equations and assumptions, the data they need, how they are validated and the limits of what they can show.
Die Reihenfolge, in der Dinge geschehen.
- 01EntwurfQuellen zitiert, Kennzeichen angebracht
- 02Evidenzprüfungjeder Wert nachverfolgt
- 03Unabhängige ÜberprüfungInteressenkonflikte offengelegt
- 04Ausgabemit seinen Grenzen veröffentlicht
- 05Korrektureine neue Version, nie eine stille Änderung
Die eingesetzten Methoden.
- 01Künstliche Intelligenz und maschinelles LernenAnalyse von Verteilungsverschiebungen · Feinabstimmung für einen bestimmten Einsatz · InterpretierbarkeitsmethodenHier angewandt
- 02Engineering für KI-Evaluierung und -AssuranceAssurance Cases für KI-Systeme · Strukturiertes Red Teaming · Überwachung nach dem EinsatzHier angewandt
- 03Hochleistungs-, Cloud- und Edge-ComputingZugang zu Rechenleistung für öffentliche Forschung · Energiemessung von ArbeitslastenHier angewandt
- 04Wahrscheinlichkeit und StatistikUnsicherheit von Benchmark-Werten · Bewertung der Kalibrierung · PrüfstichprobenHier angewandt
- 05Cybersicherheit und KryptografieBedrohungsmodellierung von KI-Anwendungen · Integrität der Modell-Lieferkette · Tests der Abwehr von Injection-AngriffenHier angewandt
- 06Sozial- und VerhaltenswissenschaftenStudien zur menschlichen Aufsicht · Forschung mit betroffenen Gemeinschaften · Studien zur Einführung am ArbeitsplatzHier angewandt
- 07Robotik und AutomatisierungSzenariobasiertes Testen · Sicherheit kollaborativer Roboter · Überwachung des EinsatzbereichsHier angewandt
Each method, its role in this field and how it is checked.
- Ai MLRole hereArtificial intelligence and machine learning is the technology this platform stewards for the network.Checks appliedHeld-out evaluation; Dataset documentation; Drift monitoring
- Ai assuranceRole hereAI evaluation and assurance engineering is the second method this platform stewards.Checks appliedIndependent review; Evidence currency; Coverage reporting
- ComputingRole hereHigh-performance and cloud computing supply the capacity AI needs.Checks appliedMeasurement boundaries; Reproducible configuration; Provider data verification
- Probability statisticsRole hereProbability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits.Checks appliedInterval reporting; Multiple comparisons; Sample size planning
- CybersicherheitRole hereCybersecurity and cryptography protect AI systems and the data they use.Checks appliedThreat model review; Provenance verification; Regression testing
- SozialwissenschaftenRole hereSocial and behavioural science studies how people use, trust and are affected by AI.Checks appliedEthics review; Pre-registration; Representative sampling
- RobotikRole hereRobotics and automation bring AI into physical systems.Checks appliedScenario coverage; Simulation validity; Standards conformity
Wie der Prozess abläuft.
Process explorer · Process
Methods and uncertainty: PRISMA 2020 review reporting
10 steps·4 Stufen
Verfahren
Methods and uncertainty: PRISMA 2020 review reporting
PRISMA 2020 ist eine Berichtsleitlinie für systematische Reviews; die Schritte folgen ihrer Checkliste, nicht einer vorgeschriebenen Abfolge, und kein Nexus-Dokument übernimmt sie.
01 Plan
- 01Registrierung und ProtokollNachweis · Das PrüfteamDie Leitlinie verlangt Angaben zur Registrierung, Zugang zum Protokoll und alle Änderungen.
- 02EignungskriterienNachweis · Das PrüfteamDie Leitlinie verlangt die Ein- und Ausschlusskriterien und wie Studien gruppiert wurden.
02 Finden und auswählen
- 03Suche: Quellen und StrategienSchritt · Das PrüfteamDie Leitlinie verlangt die Informationsquellen und die vollständigen Suchstrategien. Sie legt nicht fest, welche Quellen genutzt werden.
- 04Auswahl der StudienSchritt · Das PrüfteamDie Leitlinie verlangt, wie Studien als geeignet beurteilt wurden, einschließlich der Zahl der prüfenden Personen beim Screening. Sie legt die Zahl der prüfenden Personen nicht fest.
- 05FlussdiagrammEintragDas Flussdiagramm zeigt die Zahl der gefundenen Datensätze, die Zahl der eingeschlossenen Studien und die Gründe für den Ausschluss.
03 Analysieren
- 06DatenerhebungSchritt · Das PrüfteamDie Leitlinie verlangt, wie Daten aus Berichten erhoben wurden und welche Datenelemente gesucht wurden.
- 07VerzerrungsrisikoSchritt · Das PrüfteamDie Leitlinie verlangt die Methoden und Werkzeuge zur Bewertung des Verzerrungsrisikos.
- 08SyntheseModell · Das PrüfteamDie Leitlinie verlangt die Effektmaße und die Synthesemethoden. Sie schreibt keine Metaanalyse vor.
- 09Gewissheit der EvidenzSchritt · Das PrüfteamDie Leitlinie verlangt die Methoden zur Bewertung der Vertrauenswürdigkeit und berichtet das Ergebnis je Endpunkt. Sie nennt keine Bewertungsskala.
04 Bericht
- 10PrüfberichtEintragDie Leitlinie hilft Autorinnen und Autoren zu berichten, warum der Review durchgeführt wurde, was sie getan und was sie gefunden haben.
BerichteOutline of an externally published reporting guideline, not a Nexus process and not a record of operation. PRISMA 2020 mainly covers reviews of intervention effects. No Nexus page names it. Every programme is at service level R0.
Where uncertainty in AI analysis comes from, and how it is shown.
| Quelle | Why it matters here | How it is reported |
|---|---|---|
| Benchmark validity | Benchmarks saturate and leak into training data | Several evaluations, held-out tests, dates stated |
| Capability elicitation | Measured capability depends on prompting and tools | Elicitation effort described |
| Deployment context | Risk depends on use, not only the model | Use-specific assessment |
| Incident data | Reporting is voluntary and uneven | Incident sources and coverage stated |
Evaluation results carry the model version, date and setup; AI capability changes quickly and old results expire.
Wie Unsicherheit berichtet wird.
- 01
Annahmen angeben
Jede Analyse listet ihre Annahmen und die Daten auf, von denen sie abhängt.
- 02
Wo möglich quantifizieren
Bandbreiten und Konfidenz werden neben zentralen Schätzungen berichtet.
- 03
Validieren und vergleichen
Modelle werden mit Beobachtungen und, wo möglich, mit anderen Modellen abgeglichen.
- 04
Grenzen veröffentlichen
Was eine Analyse nicht zeigen kann, wird neben dem angegeben, was sie zeigen kann.
Where this page’s references lead.
Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.
Fragen und Antworten.
Sind die Methoden offen?
Evidenz von dieser Seite aus beitragen.
Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOffene HinterlegungHinterlegen und bei der Community einreichenVeröffentlichen Sie Ihren eigenen Eintrag auf Zenodo mit Ihrer ORCID iD und reichen Sie ihn dort bei der Reports-Community ein. Kuratorinnen und Kuratoren prüfen ihn; der DOI bleibt bei Ihnen.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.