Skip to content

GCRI · 人工知能と自律システム

AI の評価と保証

AI の評価と保証のエンジニアリングは、このプラットフォームがスチュワードを務める 2 つ目の手法です。これは、AI システムが明示された用途に適していることを示すエビデンスを提供するもので、評価、レッドチーミング、文書化、モニタリング、そしてそれらを結びつける構造化された論証から成ります。

01登録

AI evaluation and assurance on the record.

手法の記録STEM の手法
  1. 手法AI 評価・保証工学
  2. スチュワード人工知能と自律 システム
  3. 適用先人工知能と自律システム
  4. 正式なページSTEM コモンズ
02申請

AI の評価・保証エンジニアリングがここで果たす役割。

AI の評価・保証工学は、AI システムを試験・監視し、根拠ある信頼を提供する手法を開発する。システムのライフサイクル全体にわたり、性能、頑健性、安全性、社会的影響を扱う。人工知能とデータ・計算資源の分野において、AI の保証は、自動化されたシステムが重大な結果を伴う場面で信頼できるかどうかを見極める。AI が金融、保健、インフラに組み込まれるときのリスク管理に役立つ。正式な記述は STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

体系的なレッドチーミング

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

導入後モニタリング

リリース後にインシデント、苦情、パフォーマンス指標を追跡し、見直しやロールバックの発動条件はあらかじめ定められます。

03監視

Evaluation suite.

この手法を追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。

Evaluation suite

AI and autonomous systems · AI evaluation and assurance · Run R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

Evaluation suites

機能58589リリース合格
頑健性13372リリース合格
バイアスと公平性16981リリース合格
Misuse red team14279デプロイ未解決の指摘事項

手法カード

手法
AI 評価・保証工学
モデル化する
M-196 v1
オーナー
モデルリスク管理部門
ラベル
モデル化

調査結果

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04データ

手法が使用するもの。

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

データ役割ラベル
評価結果Evidence for claims観測
レッドチーム報告書障害の発見報告値
インシデントログField evidence報告値
システム文書スコープと前提申告済み
05手法とエビデンス

How AI evaluation and assurance is modelled, measured and tested.

モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。

モデル、方程式、仮定

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

要素 i のリスクRi = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力
年間期待損失EAL = ∑k pk · Lkover events k with annual probability pk
結合システムxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
仮定作られる理由検証の方法
一つの事象の中では、ハザードとエクスポージャーは独立している損失の積分を扱いやすく保つ同時記録に当てはめたコピュラと比較
結合は動作点の近くで線形であるショックを A を通じて伝播させる線形範囲を超えて摂動を与えて比較する
脆弱性曲線は場所を越えて適用できる地域固有の曲線はめったに得られない観測された損失がある場合はそれに照らして検証
入力
来歴付きのバージョン管理されたデータセット
成果物
分布であり、単一の数値ではない
コード
モデルカードと試験とともに公開
再現
同じデータ、コード、環境、シード
標準的なリスクおよび状態空間の定式化です。挙げた前提はこの手法に典型的なもので、審査のために示しており、結果ではありません。
FAIR 原則・GO FAIR と FORCE11W3C PROV・World Wide Web Consortium不確実性の一貫した扱いに関するガイダンス・IPCCCEOS 解析即応データ・地球観測衛星委員会
06検証

結果の確認方法。

評価方法は、信頼性と、展開条件への関連性について確認されます。独立した再現と第三者監査によって、主張が検証されます。

確認実施方法
独立したレビューAssurance cases are reviewed by people not involved in development
Evidence currencyEvidence is re-checked after model or deployment changes
カバレッジの報告Evaluations state what they did not test

ベンチマークは、実際の利用や新たな能力を反映していない場合があります。汎用システムは挙動が限定されず、完全なテストが困難です。

07プロセス

プロセスの進め方。

Process explorer · Process

AI evaluation and assurance: AI risk management (NIST)

9 steps5 stages1 gate

プロセス

AI evaluation and assurance: AI risk management (NIST)

AI RMF コアには、GOVERN、MAP、MEASURE、MANAGE の 4 つの機能があり、GOVERN は横断的である。図に示した順序は一般的な読み方の一例であり、チェックリストではない。

  1. 01 ガバナンス

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP:文脈と意図された用途データセットMAP 機能は、意図された目的や人々への影響を含め、AI システムに関連するリスクを捉えるための文脈を確立する。
  3. 03 測定

    1. 03MEASURE:信頼性に関わる特性を評価するモデル化するAI システム は、信頼性に関わる特性について評価されます。展開前に、また運用中も定期的にテストされるべきです。
    2. 04MEASURE: 特定されたリスクを経時的に追跡するモデル化する特定済みの AI リスクを、想定外のリスクや創発的なリスクも含めて、時間の経過に沿って追跡する仕組みが整備されています。
  4. 04 管理

    1. 05MANAGE: リスクを処理するステップリスク対応 計画は、インシデントへの対応、インシデントからの復旧、インシデントに関するコミュニケーションを対象とします。リソースは、特定され測定されたリスクに配分されます。
    2. 06進めるか否か (MANAGE 1.1)ゲート · AI リスク委員会システムが目的と目標を満たしているか、また先に進むかどうかを判断する。この枠組みはしきい値を定めていない。
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08展開後のモニタリングとインシデントモデル化する展開後モニタリング計画が実施されます。インシデントとエラーは、影響を受けるコミュニティを含む関係する AI アクターと共有されます。
  5. 05 記録

    1. 09AI システムの一覧データセットGOVERN 1.6 は、AI システムの一覧を作成する仕組みを求めている。モデルカードは一般的な慣行であるが、同フレームワークには明記されていない。

発行機関が公表した外部の標準または手法の中立的な概要です。運用の記録ではありません。Nexus は、示された手順のいずれも実施、認証、承認しません。ゲートや決定は、出典に記載された当事者に属します。これらの行動は、必ずしも順序立った手順ではありません。EU AI Act は、このフローには含まれていません。

09スチュワードシップ

手法を維持する者。

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10質問

質問と回答。

この分野における AI の評価と保証エンジニアリングには、どのような限界がありますか。
ベンチマークは、実際の利用や新たな能力を反映していない場合があります。汎用システムは挙動が限定されず、完全なテストが困難です。
結果はどのように確認されますか?
評価方法は、信頼性と、展開条件への関連性について確認されます。独立した再現と第三者監査によって、主張が検証されます。
このページの値は実際のものですか?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
この手法は他にどこで適用されていますか?
社会を動かし続ける 正式な手法のページ には、それを適用するすべてのプラットフォームが掲載されています。
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

GCRI人工知能と自律システム指数関数的テクノロジーLabs のエビデンス
人工知能と自律システム

手法、データセット、または問いを持ち込んでください。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。