GCRI · Ingenieurwesen
Engineering für KI-Evaluierung und -Assurance
Die Evaluierungs- und Assurance-Technik für KI entwickelt Methoden, um KI- Systemezu testen, zu überwachen und begründetes Vertrauen in sie zu schaffen. Sie behandelt Leistung, Robustheit, Sicherheit und gesellschaftliche Auswirkungen über den gesamten Lebenszyklus des Systems. Artificial Intelligence and Autonomous Systems betreut diese Seite als Sachwalter für das Nexus Consortium.
Evaluierung und Absicherung von KI als Ingenieurdisziplin in sechs Teilen.
- 01Die MethodeWas die Evaluierung und Absicherung von KI-Systemen abdeckt
- 02Reference practiceAI assurance draws on risk frameworks, management systems and evaluation practice
- 03In der Arbeit zu systemischen RisikenEvidenz, dass ein KI-System für seinen Verwendungszweck geeignet ist
- 04Angewandt inPlattformen, die diese Methode anwenden
- 05TreuhänderschaftWer diese Seite pflegt
- 06SourcesWhere this page’s references lead
Was die Evaluierung und Assurance-Technik für KI umfasst.
- 01
Kernmethoden
Bewertung von Fähigkeiten und Sicherheit; Red Teaming; Tests auf Robustheit und gegnerische Angriffe; Bewertung von Verzerrung und Fairness; Entwicklung von Assurance Cases; Überwachung nach der Einführung.
- 02
Daten und Instrumente
Evaluierungs-Benchmarks; Vorfallberichte; Modelldokumentation; Einsatzprotokolle; Aufzeichnungen menschlichen Feedbacks.
- 03
Validierung
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
- 04
Grenzen
Benchmarks bilden die reale Nutzung oder neuartige Fähigkeiten möglicherweise nicht ab. Universell einsetzbare Systeme zeigen offenes Verhalten, das sich einer vollständigen Prüfung entzieht.
- 05
Einsatz in Risikoentscheidungen
KI-Assurance legt fest, ob automatisierten Systemen in Umgebungen mit schwerwiegenden Folgen vertraut werden kann. Sie unterstützt das Management von Risiken, wenn KI in Finanzwesen, Gesundheitswesen und Infrastruktur eingebettet ist.
KI-Assurance stützt sich auf Risikorahmenwerke, Managementsysteme und Evaluierungspraxis.
| Referenz | Was es festlegt |
|---|---|
| NIST AI RMF | Funktionen zum Messen und Steuern |
| ISO/IEC 42001 | AI management system |
| Konformitätsanforderungen des EU-KI-Gesetzes | Pflichten für Systememit hohem Risiko, stufenweise anwendbar |
| OECD AI Incidents Monitor | Verzeichnis gemeldeter KI-Vorfälle |
Wie der Prozess abläuft.
Process explorer · Process
Evaluierung und Absicherung von KI im Engineering: KI-Risikomanagement (NIST)
9 steps·5 stages·1 gate
Verfahren
Evaluierung und Absicherung von KI im Engineering: KI-Risikomanagement (NIST)
Der AI RMF Core hat vier Funktionen, GOVERN, MAP, MEASURE und MANAGE, wobei GOVERN übergreifend wirkt; die dargestellte Reihenfolge ist eine gängige Lesart, keine Checkliste.
01 Steuern
- 01GOVERN: Richtlinien, Rollen und VerantwortlichkeitSchritt · das technische Büro des Global Centre for Risk and Innovation (GCRI)GOVERN ist eine Querschnittsfunktion. Sie durchzieht das gesamte KI-Risikomanagement und ermöglicht die anderen Funktionen.
02 Map
- 02MAP: Kontext und beabsichtigte VerwendungDatensatzDie Funktion MAP schafft den Kontext, um Risiken im Zusammenhang mit einem KI-System einzuordnen, einschließlich der beabsichtigten Zwecke und der Auswirkungen auf Menschen.
03 Messen
- 03MEASURE: vertrauenswürdige Merkmale bewertenModellAI Systeme werden auf Merkmale der Vertrauenswürdigkeit hin bewertet. Sie sollten vor dem Einsatz und regelmäßig im Betrieb getestet werden.
- 04MEASURE: identifizierte Risiken im Zeitverlauf verfolgenModellEs bestehen Mechanismen, um erkannte KI-Risiken im Zeitverlauf zu verfolgen, einschließlich unvorhergesehener und neu entstehender Risiken.
04 Steuern
- 05STEUERN: Risiken behandelnSchrittRisikobehandlung umfassen Reaktion auf Vorfälle, Wiederherstellung nach Vorfällen und Kommunikation darüber. Ressourcen fließen in kartierte und gemessene Risiken.
- 06Fortfahren oder nicht (MANAGE 1.1)Gate · Technisches Büro von GCRIEs wird festgestellt, ob das System seine Zwecke und Ziele erfüllt und ob fortgefahren werden soll. Das Rahmenwerk legt keine Schwellenwerte fest.
- 07EinsatzentscheidungEntscheidung · Technisches Büro des GCRIDie Organisation, der das System gehört, entscheidet, ob und unter welchen Bedingungen es eingesetzt wird.
- 08Überwachung nach dem Einsatz und VorfälleModellPläne zur Überwachung nach dem Einsatz werden umgesetzt. Vorfälle und Fehler werden mit den relevanten KI-Akteuren geteilt, einschließlich betroffener Gemeinschaften.
05 Aufzeichnung
- 09Verzeichnis der KI-SystemeDatensatzGOVERN 1.6 verlangt Mechanismen zur Inventarisierung von KI-Systemen. Eine Modellkarte (Model Card) ist gängige Praxis und wird im Rahmenwerk nicht genannt.
Neutrale Übersicht über einen veröffentlichten externen Standard oder eine veröffentlichte Methode, wiedergegeben von der herausgebenden Stelle. Kein Betriebsnachweis. Nexus führt keinen der dargestellten Schritte durch, zertifiziert oder genehmigt ihn. Ein Gate oder eine Entscheidung liegt bei der Partei, die die Quelle nennt. Die Maßnahmen bilden nicht zwingend eine geordnete Abfolge von Schritten. Der EU AI Act ist in diesem Ablauf nicht abgebildet.
Evidence that an AI system is fit for its use.
Assurance erstellt eine Argumentation, dass ein System für einen definierten Einsatz hinreichend sicher ist, gestützt auf Evaluierungen, Red Teaming, Überwachung und Vorfallsaufzeichnungen. Für systemisches Risiko ist der Einsatzkontext am wichtigsten: Dasselbe Modell kann für das Verfassen von Texten akzeptabel und für die Triage inakzeptabel sein.
- Define the use context before evaluating.
- Nach dem Einsatz überwachen; Fähigkeiten und Nutzung verschieben sich.
- Record incidents and near misses.
- Anwendungen zu KI und autonome Systeme.
Plattformen, die diese Methode anwenden.
Wer diese Seite pflegt.
Künstliche Intelligenz und autonome Systeme betreut die Evaluierung und Absicherung von KI: Der Bereich hält diese Beschreibung aktuell und prüft, wie die Methode auf den Plattformen angewendet wird.
Where this page’s references lead.
Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.
Fragen und Antworten.
Warum beherbergt eine einzige Institution jede Methodenseite?
Wie schlage ich eine Korrektur an einer Methodenseite vor?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.