GCRI · イノベーションと技術変化
技術評価
Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.
The workspace for technology assessment.
イノベーション・パイプライン
GCRI · ステージゲート · 例示のインターフェースであり、記録ではありません
成熟度レベル別
準備度の基準
パイロットとゲート
パイロットの課題
- I-1パイロット拠点のデータライセンス確認事項9 日
- I-2オブザーバー議定書に署名済み完了8 日
GCRI・イノベーション・パイプライン。 イノベーション・パイプライン:例示の名称と説明用の値であり、記録ではありません。
すべての評価の背後にある 4 つの問い。
A fourth question runs through all three: what would make the technology fail, and has that been looked for?
How mature is it?
Evidence on maturity in the intended setting, not in the most favourable one.
Has it been tested?
定められた目標に照らした独立した試験。試験条件も併せて報告します。
What exactly is claimed?
能力に関する記述を、測定済み、推定、主張に区分したもの。
Readiness levels, what they measure and what they leave out.
Technology readiness levels run from one, basic principles observed, to nine, a system proven in its operational environment. NASA introduced them; ISO 16290:2013 defines them for space systems, and many agencies use adapted versions. A readiness level describes maturity in a stated environment. It says nothing about cost, safety in a different setting, social acceptance or whether an organisation can operate the technology.
| 問い | それに答えるエビデンス | 共通のギャップ |
|---|---|---|
| 主張どおりに機能するか。 | Independent tests against a pre-registered plan, on held-out data or in a representative environment | Vendor benchmarks on data the system was tuned to |
| ここで機能するか。 | 現地の利用者と条件を伴う、対象の状況での試行 | 異なる気候、言語、インフラからの転用 |
| What does it depend on? | Bills of materials, supply and energy needs, skills required | 単一の供給者またはサービスへの隠れた依存 |
| どのように失敗するのか。 | Adversarial and stress tests; incident records | Testing only the expected cases |
Reporting capability honestly.
- 性能は、集計されたテストセットだけでなく、実際に対象となる母集団について、信頼区間とともに報告する。
- データ汚染の有無を確認する: 訓練データに漏れ込んだテストデータはスコアを押し上げます。これは AI ベンチマークでよく知られた問題です。
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Separate a demonstration, a pilot and sustained operation; each is a different claim.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Assessment reports, not approvals.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
How capability is reported.
- Measured capability is published with workload, data size, hardware, configuration, software version and interval
- Peak, sustained, available and allocated capacity are reported separately
- 機器の台数と仕様は記述情報であり、適用結果ではありません
- エネルギー、冷却および水の使用量を追跡し、実測値と推定値を区別して保管しています
- 試験中に見つかった不具合と限界は、除外せずに報告する
評価計画から記録された結果まで。
- 01
Evaluation plan
テスト前に合意された目的、指標、条件および停止ルール。
- 02
対照試験
Experiments in Labs test environments or the annual Universe programme, with independent observation.
- 03
Recorded result
結果は、その方法、限界、エビデンスのラベルとともに、権利が許す範囲で公開されます。
Testing is not certification.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
このページの読解の基準となる機関と文書。状態と版は変わります。各リンクは発行機関へ移動します。
- 技術成熟度レベル(NASA)
- ISO 16290:2013 Space systems, definition of the technology readiness levels and their criteria of assessment (ISO)
- Collins ほか、TRIPOD+AI 声明、BMJ 385(2024年)
- OECD 新興技術の先見的ガバナンスのための枠組み(OECD、2024年)
- European Parliamentary Technology Assessment network (EPTA)
- NIST AI リスクマネジメントフレームワーク 1.0(NIST AI 100-1、2023 年)および生成 AI プロファイル(NIST AI 600-1、2024 年)
- NS-11、検証と監視、提案中の標準
質問と回答。
Can a vendor cite a GCRI assessment in marketing?
評価の費用は誰が負担しますか。
否定的な結果は公表されていますか?
GCRI は成熟度レベルを使用していますか。
評価に異議を申し立てることはできますか。
このページからエビデンスを提供する。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
- メールゲートウェイ GW-GCRIこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 報告書GCRI貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
手法、データセット、または問いを持ち込んでください。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。