Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · 人工知能と自律システム
機械学習の挙動
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
01登録
Machine learning behaviour on the record.
手法の記録STEM の手法
- 手法人工知能と機械学習
- スチュワード人工知能と自律 システム
- 適用先人工知能と自律システム
- データ3 inputs
- チェック3 つの検証ステップ
- 正式なページSTEM コモンズ
02申請
人工知能と機械学習がここで果たす役割。
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected システム. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM Commons.
Fine-tuning for a specific use
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Interpretability methods
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
03シミュレーター
集合行動のしきい値モデル。
各エージェントは、十分な数の接触相手が行動したときに行動します。平均しきい値や初期の行動者のわずかな変化が、その行動が局所にとどまるか集団全体に連鎖するかを決めます。例示的な値を明記した教材用モデルであり、予測ではありません。
管理策
- 平均閾値（近隣の割合）
- 18%
- しきい値のばらつき
- 8 ポイント
- 初期の行動者
- 人口の 2.0%
- 1 人あたりの接触数
- 8
読み取り値
- 最終的に誰が行動したかを共有する
- 100%
- 地球規模のカスケード
- はい
- 決着までのステップ数
- 10
数値、手法、出典
| ステップ | 行動した人の割合（%） |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
手法
- 集合行動のしきい値モデル Granovetter（1978）、American Journal of Sociology 83
- ランダム・ネットワーク上のグローバル・カスケード Watts (2002), PNAS 99
- 複雑な伝播 Centola and Macy (2007), American Journal of Sociology 113
- 一因子ずつの感度分析（トルネード図） Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
データ
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
6 本の柱を通じて、Nexus Consortium が主導
| データ | 役割 | ラベル |
|---|---|---|
| Training and validation datasets with documentation | Model development | 申告済み |
| Deployment input logs | Shift detection | 観測 |
| Benchmark suites | 比較 | 報告値 |
05手法とエビデンス
How machine learning behaviour is modelled, measured and tested.
モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。
モデル、方程式、仮定
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
要素 i のリスク
Ri = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力年間期待損失
EAL = ∑k pk · Lk年間確率 pk結合システム
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 仮定 | 作られる理由 | 検証の方法 |
|---|---|---|
| 一つの事象の中では、ハザードとエクスポージャーは独立している | 損失の積分を扱いやすく保つ | 同時記録に当てはめたコピュラと比較 |
| 結合は動作点の近くで線形である | ショックを A を通じて伝播させる | 線形範囲を超えて摂動を与えて比較する |
| 脆弱性曲線は場所を越えて適用できる | 地域固有の曲線はめったに得られない | 観測された損失がある場合はそれに照らして検証 |
- 入力
- 来歴付きのバージョン管理されたデータセット
- 成果物
- 分布であり、単一の数値ではない
- コード
- モデルカードと試験とともに公開
- 再現
- 同じデータ、コード、環境、シード
FAIR 原則・GO FAIR と FORCE11W3C PROV・World Wide Web Consortium不確実性の一貫した扱いに関するガイダンス・IPCCCEOS 解析即応データ・地球観測衛星委員会
06検証
結果の確認方法。
モデルは、空間、時間、グループの構造を考慮した検証用データで評価されます。正確さとともに、頑健性、較正、公平性も検証されます。
| 確認 | 実施方法 |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
導入時の条件が学習データと異なると、性能は低下します。モデルはバイアスを内包することがあり、希少な事象では明確な警告なしに失敗することがあります。
07つながり
この手法に依拠するトピック。
09質問
質問と回答。
この分野における人工知能と機械学習の限界は何ですか？
導入時の条件が学習データと異なると、性能は低下します。モデルはバイアスを内包することがあり、希少な事象では明確な警告なしに失敗することがあります。
結果はどのように確認されますか？
モデルは、空間、時間、グループの構造を考慮した検証用データで評価されます。正確さとともに、頑健性、較正、公平性も検証されます。
このページの値は実際のものですか？
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
この手法は他にどこで適用されていますか？
社会を動かし続ける 正式な手法のページ には、それを適用するすべてのプラットフォームが掲載されています。
報告書貢献する
このページからエビデンスを提供する。
報告書 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRI人工知能と自律システム指数関数的テクノロジーLabs のエビデンス
- メールゲートウェイ GW-GCRIこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- Zenodoオープンな寄託寄託してコミュニティに提出するORCID iD を使って Zenodo に自分の記録を公開し、そこから Reports コミュニティに提出してください。キュレーターが審査し、DOI は引き続きあなたのものです。
- 報告書GCRI貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
人工知能と自律システム
手法、データセット、または問いを持ち込んでください。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法務
法的文書。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。