Skip to content

GCRI · エンジニアリング

AI 評価・保証工学

AI の評価・保証工学は、AI システムを検証、監視し、根拠ある確信を提供するための手法を開発します。システムのライフサイクル全体にわたり、性能、頑健性、安全性および社会的影響を扱います。Artificial Intelligence and Autonomous Systems は、Nexus Consortium のためにこのページを管理しています。

02手法

AI の評価と保証エンジニアリングが扱う範囲。

  1. 01

    中核となる手法

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    データと計測器

    evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.

  3. 03

    検証

    評価方法は、信頼性と、展開条件への関連性について確認されます。独立した再現と第三者監査によって、主張が検証されます。

  4. 04

    限界

    ベンチマークは、実際の利用や新たな能力を反映していない場合があります。汎用システムは挙動が限定されず、完全なテストが困難です。

  5. 05

    リスク判断での利用

    AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.

03参照の実務

AI assurance draws on risk frameworks, management systems and evaluation practice.

参照番号定めていること
NIST AI RMF測定・管理機能
ISO/IEC 42001AI management system
EU AI 法の適合要件Obligations for high-risk systems, applied in stages
OECD AI インシデント・モニターRecord of reported AI incidents
04プロセス

プロセスの進め方。

Process explorer · Process

AI evaluation and assurance engineering: AI risk management (NIST)

9 steps5 stages1 gate

プロセス

AI evaluation and assurance engineering: AI risk management (NIST)

AI RMF コアには、GOVERN、MAP、MEASURE、MANAGE の 4 つの機能があり、GOVERN は横断的である。図に示した順序は一般的な読み方の一例であり、チェックリストではない。

  1. 01 ガバナンス

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP:文脈と意図された用途データセットMAP 機能は、意図された目的や人々への影響を含め、AI システムに関連するリスクを捉えるための文脈を確立する。
  3. 03 測定

    1. 03MEASURE:信頼性に関わる特性を評価するモデル化するAI システム は、信頼性に関わる特性について評価されます。展開前に、また運用中も定期的にテストされるべきです。
    2. 04MEASURE: 特定されたリスクを経時的に追跡するモデル化する特定済みの AI リスクを、想定外のリスクや創発的なリスクも含めて、時間の経過に沿って追跡する仕組みが整備されています。
  4. 04 管理

    1. 05MANAGE: リスクを処理するステップリスク対応 計画は、インシデントへの対応、インシデントからの復旧、インシデントに関するコミュニケーションを対象とします。リソースは、特定され測定されたリスクに配分されます。
    2. 06進めるか否か (MANAGE 1.1)ゲート・GCRI 技術事務局システムが目的と目標を満たしているか、また先に進むかどうかを判断する。この枠組みはしきい値を定めていない。
    3. 07展開の判断決定 · GCRI 技術オフィスシステムを所有する組織が、展開するかどうか、またどのような条件で展開するかを決定します。
    4. 08展開後のモニタリングとインシデントモデル化する展開後モニタリング計画が実施されます。インシデントとエラーは、影響を受けるコミュニティを含む関係する AI アクターと共有されます。
  5. 05 記録

    1. 09AI システムの一覧データセットGOVERN 1.6 は、AI システムの一覧を作成する仕組みを求めている。モデルカードは一般的な慣行であるが、同フレームワークには明記されていない。

発行機関が公表した外部の標準または手法の中立的な概要です。運用の記録ではありません。Nexus は、示された手順のいずれも実施、認証、承認しません。ゲートや決定は、出典に記載された当事者に属します。これらの行動は、必ずしも順序立った手順ではありません。EU AI Act は、このフローには含まれていません。

05システミックリスクの業務において

Evidence that an AI system is fit for its use.

アシュアランスは、評価、レッドチーミング、モニタリング、インシデント記録に裏づけられた形で、定められた用途においてシステムが許容できるほど安全であるという論拠を構築します。 システミック・リスク においては、利用文脈が最も重要です。同じモデルでも、文書作成には許容でき、トリアージには許容できない場合があります。

  • Define the use context before evaluating.
  • 導入後も監視を続けます。能力と用途は変化していきます。
  • Record incidents and near misses.
  • Applications on AI and Autonomous Systems.
07スチュワードシップ

このページを維持する者。

人工知能と自律システム は、AI の評価と保証エンジニアリングのスチュワードを務め、この説明を最新の状態に保つとともに、各プラットフォームで手法がどのように適用されているかを審査します。

08出典

Where this page’s references lead.

このページの読解の基準となる機関と文書。状態と版は変わります。各リンクは発行機関へ移動します。

09質問

質問と回答。

なぜ一つの機関がすべての手法ページを掲載するのですか?
GCRI は、各手法が一つの正規の説明を持つよう STEM Commons を運営しています。プラットフォームはそれを繰り返すのではなくリンクし、定義の一貫性を保ちます。
手法のページの訂正を提案するにはどうすればよいですか。
宛先 誠実性に関する懸念のフォーム からご連絡ください。
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

GCRI
グローバル・リスク・イノベーション・センター(Global Centre for Risk and Innovation)

手法、データセット、または問いを持ち込んでください。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。