Earth observation models with spatial validation
Land cover, building and damage models are trained and tested on spatially separated blocks, so reported accuracy reflects new places rather than the neighbours of training pixels.
GCRI · Foundry
Artificial intelligence and machine learning extend detection, classification and forecasting across large archives, and agents extend them into action. In this field the method is also a source of risk: models that fail when conditions shift, outputs that sound certain when they are not, and tools that turn an error into an effect.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In data and compute and methods and modelling, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.
Land cover, building and damage models are trained and tested on spatially separated blocks, so reported accuracy reflects new places rather than the neighbours of training pixels.
Each model version carries its intended use, training data, evaluation by region and subgroup, known limits and red-team results, and is promoted only with a recorded review.
エージェントは、宣言されたツールセット、データクラス、予算、およびポリシーゲートで強制されるキルスイッチの下で分析を実行し、すべての行動についてレビュー担当者向けの受領記録が作成されます。
この手法を追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。
Foundry · Foundry の AI と機械学習 · 実行 R-6794
| すべて | 0.83 | 0.02 | 5712 | 合格 |
| 地域 A | 0.74 | 0.05 | 1098 | 審査 |
| 地域 B | 0.76 | 0.05 | 458 | 審査 |
| 希少クラス | 0.64 | 0.07 | 160 | 基準未満 |
| データ | 役割 | ラベル |
|---|---|---|
| Labelled training sets | 教師あり学習 | 報告値 |
| 衛星画像アーカイブ | Inputs to classification | 観測 |
| ホールドアウトおよび分布外のテストセット | 評価 | 観測 |
| 評価およびレッドチームの記録 | 昇格の決定 | 報告値 |
| 学習データのデータシート | Origin, consent and licence | 申告済み |
モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。
Foundry で AI と機械学習に用いるモデル構造、その前提、および各前提をどのように検証するか。
Ri = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 仮定 | 作られる理由 | 検証の方法 |
|---|---|---|
| 一つの事象の中では、ハザードとエクスポージャーは独立している | 損失の積分を扱いやすく保つ | 同時記録に当てはめたコピュラと比較 |
| 結合は動作点の近くで線形である | ショックを A を通じて伝播させる | 線形範囲を超えて摂動を与えて比較する |
| 脆弱性曲線は場所を越えて適用できる | 地域固有の曲線はめったに得られない | 観測された損失がある場合はそれに照らして検証 |
モデルは、空間、時間、グループの構造を考慮した検証用データで評価されます。正確さとともに、頑健性、較正、公平性も検証されます。
| 確認 | 実施方法 |
|---|---|
| 空間および時間のホールドアウト | リークを防ぐため、テストデータは空間的にも時間的にも訓練データから分離されている |
| Probability calibration | Predicted probabilities are compared with observed frequencies on held-out data |
| ドリフト監視 | 使用中の入力分布と出力分布を検証時のものと比較し、乖離が生じた場合は審査を開始します |
| 敵対的テスト | モデルとエージェントは、本番昇格前にプロンプトインジェクションと悪用に対するテストを受ける |
導入時の条件が学習データと異なると、性能は低下します。モデルはバイアスを内包することがあり、希少な事象では明確な警告なしに失敗することがあります。
Process explorer · Process
9 steps·5 stages·1 gate
プロセス
AI RMF コアには、GOVERN、MAP、MEASURE、MANAGE の 4 つの機能があり、GOVERN は横断的である。図に示した順序は一般的な読み方の一例であり、チェックリストではない。
発行機関が公表した外部の標準または手法の中立的な概要です。運用の記録ではありません。Nexus は、示された手順のいずれも実施、認証、承認しません。ゲートや決定は、出典に記載された当事者に属します。これらの行動は、必ずしも順序立った手順ではありません。EU AI Act は、このフローには含まれていません。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。
The Global Centre for Risk and Innovation (GCRI Canada) is a Canadian not-for-profit organisation, not a registered charity, with its registered office in Ontario.
本サイトは、サイトの動作とプライバシーの選択を記憶するために厳密に必要な Cookie のみを使用します。他社のコンテンツは一切読み込まれず、お客様の個人情報を販売または共有することはありません。
本サイトは、サイトの動作とプライバシーの選択を記憶するために厳密に必要な Cookie のみを使用します。他社のコンテンツは一切読み込まれず、お客様の個人情報を販売または共有することはありません。広告は掲載していません。選択内容は、各ページ下部の「プライバシーの選択」からいつでも確認できます。