Skip to content

GCRI · 人工知能と自律システム

AI システムのためのサイバーセキュリティ

Cybersecurity and cryptography protect AI システム and the data they use. In this field the focus is threats specific to AI, such as prompt injection, poisoning and model theft, alongside conventional security of the software and infrastructure around models.

問い合わせる Back to STEM foundation of Artificial Intelligence and Autonomous Systems
01登録

Cybersecurity for AI systems on the record.

手法の記録STEM の手法
  1. 手法サイバーセキュリティと暗号
  3. 適用先人工知能と自律 システム
  4. データ3 inputs
  6. 正式なページSTEM コモンズ
02申請

What cybersecurity and cryptography does here.

Cybersecurity and cryptography protect information システム and data from unauthorised access, disruption and manipulation. They address threats that can spread rapidly across interconnected digital and physical systems. In artificial intelligence and data and compute, cybersecurity analysis identifies how a single compromise can propagate across sectors that share software, vendors or networks. It informs resilience requirements and cyber insurance. The canonical description is on STEM Commons.

Threat modelling AI applications

Data flows, trust boundaries and tools of an AI application are mapped to identify where untrusted inputs could manipulate the model or where data could leak.

Model supply chain integrity

Provenance of datasets and model weights is recorded and verified with signatures and hashes before use.

Injection defence testing

Applications are tested with suites of injection attempts, and the success rate is tracked as defences change.

03監視

Security assessment.

この手法を追跡するためにチームが使う画面：その指標、状態、決定。名前は例であり、値はイメージです。

Security assessment

AI and autonomous systems · Cybersecurity for AI systems · Run R-5953

Two high findingsGCRI・人工知能と自律システム

調査結果

Weak key rotationIdentity service高PR.AA開く
Unpatched gatewayEdge高PR.PSFixing
Logging gap決済 API中DE.CM開く
Stale accounts名簿低PR.AA終了

手法カード

手法
サイバーセキュリティと暗号
枠組み
CSF 2.0 の機能
対象範囲
54 assets
ラベル
モデル化

Control coverage by function

Security assessment: the screen’s structure, terms and states for AI and autonomous systems.例示の名称と説明用の値です。設計であり、記録でも稼働中のシステムでもありません。
04データ

手法が使用するもの。

Datasets and records used by cybersecurity and cryptography on this platform, with the role each plays and the label its values carry. Sources are listed in 出典の登録簿.

データ役割ラベル
MITRE ATLAS techniquesThreat catalogue報告値
Vulnerability databasesKnown flaws報告値
Security test resultsDefence performance観測
05シミュレーター

相互依存するネットワークを通る連鎖。

A ハザードの影響範囲 は各層で同じ場所にある資産を奪います。その後、断片化、層間の依存、生き残った資産の過負荷が障害を広げます。3D ビューは層を奥行きで分けて示します。例示的な値を明記した教材用モデルであり、予測ではありません。

管理策

レイヤーごとの資産
18
ハザードの影響範囲
面積の 8%
別のレイヤーに依存する資産
60%
予備容量（許容度）
30%

読み取り値

ハザードを受けた資産
2%
稼働を続ける資産
72%
初期被害の増幅
15.0 times
決着までのステップ数
3
数値、手法、出典
ステップ稼働中のデータセンター（%）稼働中のネットワーク（%）稼働中の電力（%）
094100100
18967100
27267100
3726778

手法

  1. 相互依存ネットワーク Buldyrev ほか（2010）、Catastrophic cascade of failures in interdependent networks、Nature 464
  2. 過負荷カスケード Motter and Lai (2002), Physical Review E 66
  3. 媒介負荷 Brandes (2001), Journal of Mathematical Sociology 25
  4. 多層ネットワーク Kivela and others (2014), Journal of Complex Networks 2
  5. インフラの相互依存 Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
  6. 不確実性ファン（パラメータ・モンテカルロ） Spiegelhalter, Pearson and Short (2011)、Visualising uncertainty about the future、Science 333
  7. 一因子ずつの感度分析（トルネード図） Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

データ

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • 主要道路 Natural Earth
  • 鉄道 Natural Earth
  • 港湾 Natural Earth
  • 空港 Natural Earth
  • 都市域 Natural Earth
  • 今夜の夜間光と停電（VIIRS 昼夜バンド） NASA/NOAA VIIRS（Suomi NPP）· 登録 nasa.gibs.context-live-layers
  • 自然現象（NASA EONET） NASA EONET · 登録 nasa.eonet.events
相互依存するネットワークを通じた連鎖。説明用の教材モデルで、実測データではなくコントロールで設定した値に基づいて動きます。手法：相互依存ネットワーク（Buldyrev and others (2010)、Catastrophic cascade of failures in interdependent networks、Nature 464）、過負荷の連鎖（Motter and Lai (2002)、Physical Review E 66）、媒介負荷（Brandes (2001)、Journal of Mathematical Sociology 25）。

6 本の柱を通じて、Nexus Consortium が主導

06検証

結果の確認方法。

Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.

確認実施方法
Threat model reviewThreat models are reviewed when the application or its tools change
Provenance verificationModel artefacts are checked against signed records
Regression testingSecurity tests are rerun after each update

Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.

07手法とエビデンス

How Cybersecurity for AI systems is modelled, measured and tested.

モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。

モデル、方程式、仮定

The model structure used for Cybersecurity for AI systems, the assumptions it makes and how each is tested.

要素 i のリスクRi = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力
年間期待損失EAL = ∑k pk · Lk年間確率 pk
結合システムxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
仮定作られる理由検証の方法
一つの事象の中では、ハザードとエクスポージャーは独立している損失の積分を扱いやすく保つ同時記録に当てはめたコピュラと比較
結合は動作点の近くで線形であるショックを A を通じて伝播させる線形範囲を超えて摂動を与えて比較する
脆弱性曲線は場所を越えて適用できる地域固有の曲線はめったに得られない観測された損失がある場合はそれに照らして検証
入力
来歴付きのバージョン管理されたデータセット
成果物
分布であり、単一の数値ではない
コード
モデルカードと試験とともに公開
再現
同じデータ、コード、環境、シード
標準的なリスクおよび状態空間の定式化です。挙げた前提はこの手法に典型的なもので、審査のために示しており、結果ではありません。
FAIR 原則・GO FAIR と FORCE11W3C PROV・World Wide Web Consortium不確実性の一貫した扱いに関するガイダンス・IPCCCEOS 解析即応データ・地球観測衛星委員会
08つながり

この手法に依拠するトピック。

09スチュワードシップ

手法を維持する者。

サイバーセキュリティとデジタル・レジリエンス stewards cybersecurity and cryptography for the Consortium and reviews how it is applied across platforms.

Canonical page: Cybersecurity and cryptography

10接続済み

このページがコンソーシアム全体でどこへつながるか。

11質問

質問と回答。

What are the limits of cybersecurity and cryptography in this field?
Adversaries adapt, so historical data may not reflect future attacks. Software supply chains and legacy systems introduce weaknesses that are hard to inventory.
結果はどのように確認されますか？
Controls are tested through red-team exercises, audits and formal analysis of cryptographic schemes. Incident data are used to check whether defences performed as intended.
このページの値は実際のものですか？
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
この手法は他にどこで適用されていますか？
社会を動かし続ける 正式な手法のページ には、それを適用するすべてのプラットフォームが掲載されています。
報告書貢献する

このページからエビデンスを提供する。

報告書 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRI人工知能と自律システム指数関数的テクノロジーLabs のエビデンス

個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。

人工知能と自律システム

手法、データセット、または問いを持ち込んでください。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。

手法を提案する すべての連絡経路を見る
法務

このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。