Skip to content

GCRI · イノベーションと技術変化

技術評価

Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.

01ワークスペース

The workspace for technology assessment.

イノベーション・パイプライン

GCRI · ステージゲート · 例示のインターフェースであり、記録ではありません

8 日後にゲート・レビューGCRI・GCRI

成熟度レベル別

TRL 2 から 301
手法のレビュー・サイクル概念を検証済み
TRL 4 から 502
エビデンス・ラベルの監査ラボでの検証
国別モデルの構築ラボでの検証
TRL 6 から 701
レポート版の計画所有者とのパイロット
採用審査01
年次ミッション設計所有者が決定

準備度の基準

パイロットとゲート

効果のエビデンス必須 70 件中 85 件保護措置必要な 80 のうち 60運用コストが判明40 of 60 required所有者のコミットメント43 of 75 required

パイロットの課題

  1. I-1パイロット拠点のデータライセンス確認事項9 日
  2. I-2オブザーバー議定書に署名済み完了8 日
イノベーション・パイプライン。説明用のインターフェースです。ライブデータではありません。

GCRI・イノベーション・パイプライン。 イノベーション・パイプライン:例示の名称と説明用の値であり、記録ではありません。

02検討される内容

すべての評価の背後にある 4 つの問い。

A fourth question runs through all three: what would make the technology fail, and has that been looked for?

準備状況

How mature is it?

Evidence on maturity in the intended setting, not in the most favourable one.

検証

Has it been tested?

定められた目標に照らした独立した試験。試験条件も併せて報告します。

Claims

What exactly is claimed?

能力に関する記述を、測定済み、推定、主張に区分したもの。

03準備度の尺度

Readiness levels, what they measure and what they leave out.

Technology readiness levels run from one, basic principles observed, to nine, a system proven in its operational environment. NASA introduced them; ISO 16290:2013 defines them for space systems, and many agencies use adapted versions. A readiness level describes maturity in a stated environment. It says nothing about cost, safety in a different setting, social acceptance or whether an organisation can operate the technology.

問いそれに答えるエビデンス共通のギャップ
主張どおりに機能するか。Independent tests against a pre-registered plan, on held-out data or in a representative environmentVendor benchmarks on data the system was tuned to
ここで機能するか。現地の利用者と条件を伴う、対象の状況での試行異なる気候、言語、インフラからの転用
What does it depend on?Bills of materials, supply and energy needs, skills required単一の供給者またはサービスへの隠れた依存
どのように失敗するのか。Adversarial and stress tests; incident recordsTesting only the expected cases
04Measurement practice

Reporting capability honestly.

  • 性能は、集計されたテストセットだけでなく、実際に対象となる母集団について、信頼区間とともに報告する。
  • データ汚染の有無を確認する: 訓練データに漏れ込んだテストデータはスコアを押し上げます。これは AI ベンチマークでよく知られた問題です。
  • For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
  • Separate a demonstration, a pilot and sustained operation; each is a different claim.

The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.

05GCRI’s part

Assessment reports, not approvals.

An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.

06測定ルール

How capability is reported.

  • Measured capability is published with workload, data size, hardware, configuration, software version and interval
  • Peak, sustained, available and allocated capacity are reported separately
  • 機器の台数と仕様は記述情報であり、適用結果ではありません
  • エネルギー、冷却および水の使用量を追跡し、実測値と推定値を区別して保管しています
  • 試験中に見つかった不具合と限界は、除外せずに報告する
07テストの実施方法

評価計画から記録された結果まで。

  1. 01

    Evaluation plan

    テスト前に合意された目的、指標、条件および停止ルール。

  2. 02

    対照試験

    Experiments in Labs test environments or the annual Universe programme, with independent observation.

  3. 03

    Recorded result

    結果は、その方法、限界、エビデンスのラベルとともに、権利が許す範囲で公開されます。

08境界

Testing is not certification.

An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.

10質問

質問と回答。

Can a vendor cite a GCRI assessment in marketing?
公表された結果を、その範囲と限界を付した事実としての引用に限って使用できます。認証や推奨としての使用は認められません。不実表示は、インテグリティ担当の連絡先に報告できます。
評価の費用は誰が負担しますか。
条件は、テストベッドの公募または合意ごとに定められます。支払いによって結果を買うことはできず、評価が高額の拠出に左右されることもありません。
否定的な結果は公表されていますか?
Yes, where rights allow. A technology that fails a test produces a result as valid as one that passes.
GCRI は成熟度レベルを使用していますか。
Readiness is described with evidence for the specific setting. Where a recognised readiness scale is referenced, it is named and the evidence for the level is shown.
評価に異議を申し立てることはできますか。
Yes. Providers, researchers and the public can challenge a published assessment through the integrity route. An accepted correction creates a new recorded version with its history.
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

GCRI
グローバル・リスク・イノベーション・センター(Global Centre for Risk and Innovation)

手法、データセット、または問いを持ち込んでください。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。