Skip to content

GCRI · Künstliche Intelligenz und autonome Systeme

KI-Evaluierung und -Assurance

Evaluierung und Absicherung von KI-Systemen ist die zweite Methode, für die diese Plattform als Sachwalter fungiert. Sie liefert die Evidenz dafür, dass ein KI-System für einen bestimmten Einsatzzweck geeignet ist: Evaluierungen, Red-Teaming, Dokumentation, Überwachung und die strukturierten Argumentationen, die sie miteinander verbinden.

01Registrieren

KI-Evaluierung und Absicherung im Protokoll.

MethodennachweisMINT-Methode
  1. MethodeEngineering für KI-Evaluierung und -Assurance
  2. SachwalterStudio Künstliche Intelligenz und autonome System
  3. Angewandt inKünstliche Intelligenz und autonome Systeme
  4. Kanonische SeiteMINT-Commons
02Antrag

Was KI-Evaluierung und Assurance Engineering hier leisten.

Die Evaluierungs- und Assurance-Technik für KI entwickelt Methoden, um KI- Systemezu testen, zu überwachen und begründetes Vertrauen in sie zu schaffen. Sie befasst sich mit Leistung, Robustheit, Sicherheit und gesellschaftlichen Auswirkungen über den gesamten Lebenszyklus des Systems. In den Bereichen künstliche Intelligenz sowie Daten und Rechenleistung klärt die KI-Absicherung, ob automatisierten Systemen in Situationen mit gravierenden Folgen vertraut werden kann. Sie hilft, Risiken zu steuern, wenn KI in Finanzwesen, Gesundheit und Infrastruktur eingebettet ist. Die maßgebliche Beschreibung befindet sich bei die STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Strukturiertes Red Teaming

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

Überwachung nach dem Einsatz

Vorfälle, Beschwerden und Leistungskennzahlen werden nach der Freigabe verfolgt, und Auslöser für eine Überprüfung oder einen Rollback werden im Voraus festgelegt.

03Monitoring

Evaluierungssuite.

Die Ansicht, die ein Team nutzen würde, um diese Methode zu verfolgen: ihre Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.

Evaluation suite

KI und autonome Systeme · KI-Evaluierung und -Absicherung · Lauf R-0951

Ein Gate steht ausGCRI · Künstliche Intelligenz und autonome Systeme

Evaluationssuiten

Fähigkeit58589VeröffentlichungBestanden
Robustheit13372VeröffentlichungBestanden
Bias and fairness16981VeröffentlichungBestanden
Misuse red team14279BereitstellenOffene Feststellungen

Methodenkarte

Methode
Engineering für KI-Evaluierung und -Assurance
Modell
M-196 v1
Inhaber
Modellrisikofunktion
Kennzeichnung
MODELLIERT

Befunde

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04Daten

Was die Methode verwendet.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

DatenRolleKennzeichnung
EvaluierungsergebnisseEvidenz für AussagenBEOBACHTET
Red-team reportsFehlererkennungBERICHTET
VorfallprotokolleField evidenceBERICHTET
SystemdokumentationGeltungsbereich und AnnahmenDEKLARIERT
05Methoden und Evidenz

How AI evaluation and assurance is modelled, measured and tested.

Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.

Modell, Gleichungen und Annahmen

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

Risiko des Elements iRi = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und Bewältigungskapazität
Erwarteter jährlicher SchadenEAL = ∑k pk · Lkover events k with annual probability pk
Gekoppelte Systemext+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
AnnahmeWarum es entstehtWie es geprüft wird
Gefahr und Exposition sind innerhalb eines Ereignisses unabhängigHält das Schadensintegral berechenbarMit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen
Kopplungen sind nahe dem Arbeitspunkt linearLässt Schocks sich über A ausbreitenÜber den linearen Bereich hinaus stören und vergleichen
Vulnerabilitätskurven lassen sich zwischen Orten übertragenLokale Kurven sind selten verfügbarAnhand beobachteter Schäden validieren, wo es sie gibt
Eingaben
versionierte Datensätze mit Herkunftsnachweis
Ergebnisse
Verteilungen, nie einzelne Zahlen
Code
mit Modellkarte und Tests veröffentlicht
Reproduktion
gleiche Daten, Code, Umgebung und Seed
Standardformulierungen für Risiko und Zustandsraum; die aufgeführten Annahmen sind für die Methode typisch und zur Prüfung benannt, keine Ergebnisse.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validierung

Wie Ergebnisse geprüft werden.

Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

PrüfenWie es gemacht wird
Unabhängige ÜberprüfungAssurance Cases werden von Personen geprüft, die nicht an der Entwicklung beteiligt waren
Evidence currencyDie Evidenz wird nach Änderungen am Modell oder am Einsatz erneut geprüft
Berichterstattung zur AbdeckungEvaluierungen geben an, was sie nicht getestet haben

Benchmarks bilden die reale Nutzung oder neuartige Fähigkeiten möglicherweise nicht ab. Universell einsetzbare Systeme verhalten sich offen und entziehen sich einer vollständigen Prüfung.

07Verfahren

Wie der Prozess abläuft.

Process explorer · Process

KI-Evaluierung und Assurance: KI-Risikomanagement (NIST)

9 steps5 stages1 gate

Verfahren

KI-Evaluierung und Assurance: KI-Risikomanagement (NIST)

Der AI RMF Core hat vier Funktionen, GOVERN, MAP, MEASURE und MANAGE, wobei GOVERN übergreifend wirkt; die dargestellte Reihenfolge ist eine gängige Lesart, keine Checkliste.

  1. 01 Steuern

    1. 01GOVERN: Richtlinien, Rollen und VerantwortlichkeitSchritt · KI-RisikoausschussGOVERN ist eine Querschnittsfunktion. Sie durchzieht das gesamte KI-Risikomanagement und ermöglicht die anderen Funktionen.
  2. 02 Map

    1. 02MAP: Kontext und beabsichtigte VerwendungDatensatzDie Funktion MAP schafft den Kontext, um Risiken im Zusammenhang mit einem KI-System einzuordnen, einschließlich der beabsichtigten Zwecke und der Auswirkungen auf Menschen.
  3. 03 Messen

    1. 03MEASURE: vertrauenswürdige Merkmale bewertenModellAI Systeme werden auf Merkmale der Vertrauenswürdigkeit hin bewertet. Sie sollten vor dem Einsatz und regelmäßig im Betrieb getestet werden.
    2. 04MEASURE: identifizierte Risiken im Zeitverlauf verfolgenModellEs bestehen Mechanismen, um erkannte KI-Risiken im Zeitverlauf zu verfolgen, einschließlich unvorhergesehener und neu entstehender Risiken.
  4. 04 Steuern

    1. 05STEUERN: Risiken behandelnSchrittRisikobehandlung umfassen Reaktion auf Vorfälle, Wiederherstellung nach Vorfällen und Kommunikation darüber. Ressourcen fließen in kartierte und gemessene Risiken.
    2. 06Fortfahren oder nicht (MANAGE 1.1)Gate · Ausschuss für KI-RisikenEs wird festgestellt, ob das System seine Zwecke und Ziele erfüllt und ob fortgefahren werden soll. Das Rahmenwerk legt keine Schwellenwerte fest.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08Überwachung nach dem Einsatz und VorfälleModellPläne zur Überwachung nach dem Einsatz werden umgesetzt. Vorfälle und Fehler werden mit den relevanten KI-Akteuren geteilt, einschließlich betroffener Gemeinschaften.
  5. 05 Aufzeichnung

    1. 09Verzeichnis der KI-SystemeDatensatzGOVERN 1.6 verlangt Mechanismen zur Inventarisierung von KI-Systemen. Eine Modellkarte (Model Card) ist gängige Praxis und wird im Rahmenwerk nicht genannt.

Neutrale Übersicht über einen veröffentlichten externen Standard oder eine veröffentlichte Methode, wiedergegeben von der herausgebenden Stelle. Kein Betriebsnachweis. Nexus führt keinen der dargestellten Schritte durch, zertifiziert oder genehmigt ihn. Ein Gate oder eine Entscheidung liegt bei der Partei, die die Quelle nennt. Die Maßnahmen bilden nicht zwingend eine geordnete Abfolge von Schritten. Der EU AI Act ist in diesem Ablauf nicht abgebildet.

09Treuhänderschaft

Wer die Methode pflegt.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10Fragen

Fragen und Antworten.

What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks bilden die reale Nutzung oder neuartige Fähigkeiten möglicherweise nicht ab. Universell einsetzbare Systeme verhalten sich offen und entziehen sich einer vollständigen Prüfung.
Wie werden Ergebnisse geprüft?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
Sind die Werte auf dieser Seite echt?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Wo wird diese Methode sonst angewandt?
Das kanonische Methodenseite listet jede Plattform auf, die sie anwendet.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

GCRIKünstliche Intelligenz und autonome SystemeExponentielle TechnologieLabs-Evidenz
Künstliche Intelligenz und autonome Systeme

Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.