Assurance cases for AI systems
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
GCRI · 人工知能と自律システム
AI の評価と保証のエンジニアリングは、このプラットフォームがスチュワードを務める 2 つ目の手法です。これは、AI システムが明示された用途に適していることを示すエビデンスを提供するもので、評価、レッドチーミング、文書化、モニタリング、そしてそれらを結びつける構造化された論証から成ります。
AI の評価・保証工学は、AI システムを試験・監視し、根拠ある信頼を提供する手法を開発する。システムのライフサイクル全体にわたり、性能、頑健性、安全性、社会的影響を扱う。人工知能とデータ・計算資源の分野において、AI の保証は、自動化されたシステムが重大な結果を伴う場面で信頼できるかどうかを見極める。AI が金融、保健、インフラに組み込まれるときのリスク管理に役立つ。正式な記述は STEM Commons.
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.
リリース後にインシデント、苦情、パフォーマンス指標を追跡し、見直しやロールバックの発動条件はあらかじめ定められます。
この手法を追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。
AI and autonomous systems · AI evaluation and assurance · Run R-0951
| 機能 | 585 | 89 | リリース | 合格 |
| 頑健性 | 133 | 72 | リリース | 合格 |
| バイアスと公平性 | 169 | 81 | リリース | 合格 |
| Misuse red team | 142 | 79 | デプロイ | 未解決の指摘事項 |
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| データ | 役割 | ラベル |
|---|---|---|
| 評価結果 | Evidence for claims | 観測 |
| レッドチーム報告書 | 障害の発見 | 報告値 |
| インシデントログ | Field evidence | 報告値 |
| システム文書 | スコープと前提 | 申告済み |
モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。
The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 仮定 | 作られる理由 | 検証の方法 |
|---|---|---|
| 一つの事象の中では、ハザードとエクスポージャーは独立している | 損失の積分を扱いやすく保つ | 同時記録に当てはめたコピュラと比較 |
| 結合は動作点の近くで線形である | ショックを A を通じて伝播させる | 線形範囲を超えて摂動を与えて比較する |
| 脆弱性曲線は場所を越えて適用できる | 地域固有の曲線はめったに得られない | 観測された損失がある場合はそれに照らして検証 |
評価方法は、信頼性と、展開条件への関連性について確認されます。独立した再現と第三者監査によって、主張が検証されます。
| 確認 | 実施方法 |
|---|---|
| 独立したレビュー | Assurance cases are reviewed by people not involved in development |
| Evidence currency | Evidence is re-checked after model or deployment changes |
| カバレッジの報告 | Evaluations state what they did not test |
ベンチマークは、実際の利用や新たな能力を反映していない場合があります。汎用システムは挙動が限定されず、完全なテストが困難です。
Process explorer · Process
9 steps·5 stages·1 gate
プロセス
AI RMF コアには、GOVERN、MAP、MEASURE、MANAGE の 4 つの機能があり、GOVERN は横断的である。図に示した順序は一般的な読み方の一例であり、チェックリストではない。
発行機関が公表した外部の標準または手法の中立的な概要です。運用の記録ではありません。Nexus は、示された手順のいずれも実施、認証、承認しません。ゲートや決定は、出典に記載された当事者に属します。これらの行動は、必ずしも順序立った手順ではありません。EU AI Act は、このフローには含まれていません。
Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。
本サイトは、サイトの動作とプライバシーの選択を記憶するために厳密に必要な Cookie のみを使用します。他社のコンテンツは一切読み込まれず、お客様の個人情報を販売または共有することはありません。
本サイトは、サイトの動作とプライバシーの選択を記憶するために厳密に必要な Cookie のみを使用します。他社のコンテンツは一切読み込まれず、お客様の個人情報を販売または共有することはありません。広告は掲載していません。選択内容は、各ページ下部の「プライバシーの選択」からいつでも確認できます。