Skip to content

GCRI · Ingenieurwesen

Engineering für KI-Evaluierung und -Assurance

Die Evaluierungs- und Assurance-Technik für KI entwickelt Methoden, um KI- Systemezu testen, zu überwachen und begründetes Vertrauen in sie zu schaffen. Sie behandelt Leistung, Robustheit, Sicherheit und gesellschaftliche Auswirkungen über den gesamten Lebenszyklus des Systems. Artificial Intelligence and Autonomous Systems betreut diese Seite als Sachwalter für das Nexus Consortium.

02Die Methode

Was die Evaluierung und Assurance-Technik für KI umfasst.

  1. 01

    Kernmethoden

    Bewertung von Fähigkeiten und Sicherheit; Red Teaming; Tests auf Robustheit und gegnerische Angriffe; Bewertung von Verzerrung und Fairness; Entwicklung von Assurance Cases; Überwachung nach der Einführung.

  2. 02

    Daten und Instrumente

    Evaluierungs-Benchmarks; Vorfallberichte; Modelldokumentation; Einsatzprotokolle; Aufzeichnungen menschlichen Feedbacks.

  3. 03

    Validierung

    Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

  4. 04

    Grenzen

    Benchmarks bilden die reale Nutzung oder neuartige Fähigkeiten möglicherweise nicht ab. Universell einsetzbare Systeme zeigen offenes Verhalten, das sich einer vollständigen Prüfung entzieht.

  5. 05

    Einsatz in Risikoentscheidungen

    KI-Assurance legt fest, ob automatisierten Systemen in Umgebungen mit schwerwiegenden Folgen vertraut werden kann. Sie unterstützt das Management von Risiken, wenn KI in Finanzwesen, Gesundheitswesen und Infrastruktur eingebettet ist.

03Quellenpraxis

KI-Assurance stützt sich auf Risikorahmenwerke, Managementsysteme und Evaluierungspraxis.

ReferenzWas es festlegt
NIST AI RMFFunktionen zum Messen und Steuern
ISO/IEC 42001AI management system
Konformitätsanforderungen des EU-KI-GesetzesPflichten für Systememit hohem Risiko, stufenweise anwendbar
OECD AI Incidents MonitorVerzeichnis gemeldeter KI-Vorfälle
04Verfahren

Wie der Prozess abläuft.

Process explorer · Process

Evaluierung und Absicherung von KI im Engineering: KI-Risikomanagement (NIST)

9 steps5 stages1 gate

Verfahren

Evaluierung und Absicherung von KI im Engineering: KI-Risikomanagement (NIST)

Der AI RMF Core hat vier Funktionen, GOVERN, MAP, MEASURE und MANAGE, wobei GOVERN übergreifend wirkt; die dargestellte Reihenfolge ist eine gängige Lesart, keine Checkliste.

  1. 01 Steuern

    1. 01GOVERN: Richtlinien, Rollen und VerantwortlichkeitSchritt · das technische Büro des Global Centre for Risk and Innovation (GCRI)GOVERN ist eine Querschnittsfunktion. Sie durchzieht das gesamte KI-Risikomanagement und ermöglicht die anderen Funktionen.
  2. 02 Map

    1. 02MAP: Kontext und beabsichtigte VerwendungDatensatzDie Funktion MAP schafft den Kontext, um Risiken im Zusammenhang mit einem KI-System einzuordnen, einschließlich der beabsichtigten Zwecke und der Auswirkungen auf Menschen.
  3. 03 Messen

    1. 03MEASURE: vertrauenswürdige Merkmale bewertenModellAI Systeme werden auf Merkmale der Vertrauenswürdigkeit hin bewertet. Sie sollten vor dem Einsatz und regelmäßig im Betrieb getestet werden.
    2. 04MEASURE: identifizierte Risiken im Zeitverlauf verfolgenModellEs bestehen Mechanismen, um erkannte KI-Risiken im Zeitverlauf zu verfolgen, einschließlich unvorhergesehener und neu entstehender Risiken.
  4. 04 Steuern

    1. 05STEUERN: Risiken behandelnSchrittRisikobehandlung umfassen Reaktion auf Vorfälle, Wiederherstellung nach Vorfällen und Kommunikation darüber. Ressourcen fließen in kartierte und gemessene Risiken.
    2. 06Fortfahren oder nicht (MANAGE 1.1)Gate · Technisches Büro von GCRIEs wird festgestellt, ob das System seine Zwecke und Ziele erfüllt und ob fortgefahren werden soll. Das Rahmenwerk legt keine Schwellenwerte fest.
    3. 07EinsatzentscheidungEntscheidung · Technisches Büro des GCRIDie Organisation, der das System gehört, entscheidet, ob und unter welchen Bedingungen es eingesetzt wird.
    4. 08Überwachung nach dem Einsatz und VorfälleModellPläne zur Überwachung nach dem Einsatz werden umgesetzt. Vorfälle und Fehler werden mit den relevanten KI-Akteuren geteilt, einschließlich betroffener Gemeinschaften.
  5. 05 Aufzeichnung

    1. 09Verzeichnis der KI-SystemeDatensatzGOVERN 1.6 verlangt Mechanismen zur Inventarisierung von KI-Systemen. Eine Modellkarte (Model Card) ist gängige Praxis und wird im Rahmenwerk nicht genannt.

Neutrale Übersicht über einen veröffentlichten externen Standard oder eine veröffentlichte Methode, wiedergegeben von der herausgebenden Stelle. Kein Betriebsnachweis. Nexus führt keinen der dargestellten Schritte durch, zertifiziert oder genehmigt ihn. Ein Gate oder eine Entscheidung liegt bei der Partei, die die Quelle nennt. Die Maßnahmen bilden nicht zwingend eine geordnete Abfolge von Schritten. Der EU AI Act ist in diesem Ablauf nicht abgebildet.

05In der Arbeit zu systemischen Risiken

Evidence that an AI system is fit for its use.

Assurance erstellt eine Argumentation, dass ein System für einen definierten Einsatz hinreichend sicher ist, gestützt auf Evaluierungen, Red Teaming, Überwachung und Vorfallsaufzeichnungen. Für systemisches Risiko ist der Einsatzkontext am wichtigsten: Dasselbe Modell kann für das Verfassen von Texten akzeptabel und für die Triage inakzeptabel sein.

  • Define the use context before evaluating.
  • Nach dem Einsatz überwachen; Fähigkeiten und Nutzung verschieben sich.
  • Record incidents and near misses.
  • Anwendungen zu KI und autonome Systeme.
07Treuhänderschaft

Wer diese Seite pflegt.

Künstliche Intelligenz und autonome Systeme betreut die Evaluierung und Absicherung von KI: Der Bereich hält diese Beschreibung aktuell und prüft, wie die Methode auf den Plattformen angewendet wird.

08Quellen

Where this page’s references lead.

Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.

09Fragen

Fragen und Antworten.

Warum beherbergt eine einzige Institution jede Methodenseite?
GCRI beherbergt die STEM Commons, damit jede Methode eine kanonische Beschreibung hat. Plattformen verlinken darauf, statt sie zu wiederholen, was die Definitionen konsistent hält.
Wie schlage ich eine Korrektur an einer Methodenseite vor?
Schreiben an das Formular für Integritätsbedenken mit Angabe der Passage und der Begründung.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

GCRI
Das Global Centre for Risk and Innovation

Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.