Skip to content

GCRI · Reports

ラボとファウンドリーのシリーズ

Labs and foundry reports record technical tests: prototypes, software, sensors, data pipelines and procedures exercised under stated conditions. Test evidence is easy to overstate, because a passed test under controlled conditions is read as readiness for use. This page sets out how test reports are structured, reviewed and archived, how readiness levels are evidenced rather than declared, and what such evidence can support for those deciding whether to adopt or fund a technology.

02質問

Labs と Foundry のシリーズ:リスクがどのように展開するか。

技術的な検証と準備状況のエビデンス。以下のドシエでは、リスクがどのように進展するか、何を測定するか、データの出典はどこか、どのようにモデル化するか、誰が決定するかを示します。

メカニズム

Test conditions narrow the claim

A test establishes behaviour under the conditions tested, with the inputs, environment and version used. Reports that omit those conditions invite readers to generalise beyond them.

メカニズム

Readiness declared not shown

技術成熟度レベルは、自己申告で割り当てられることが多くあります。各レベルが求めるエビデンスがなければ、成熟度の主張は検証されないまま、試験報告書から調達判断へと進んでしまいます。

メカニズム

否定的な結果が失われる

Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.

メカニズム

Versions change underneath

Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.

03監視

シリーズ制作デスク。

このテーマを追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。

シリーズ制作デスク

Labs and foundry series · Annual synthesis · Edition 7

計画の裏付けとなるデータ確認GCRI・Reports

制作中の版

年次の総括グローバルデータ確認81W10
国別プロファイル 7国査読97W16
水の見通し部門別起草中32W38
方法論ノート 4手法公開済み100完了

データ確認、年次統合

追跡された値(%)必要な 100 のうち 79ラベル付与率(%)必要な 100 件のうち 95 件示された不確実性、%必要な 100 件のうち 73 件

版のパイプライン

  1. 概要理事会
  2. 草案著者
  3. データ確認すべての値
  4. 査読2 回のラウンド
  5. 編集決定
  6. リリースDOI
  7. 訂正バージョン管理
Series production desk: the screen’s structure, terms and states for Labs and foundry series.Example names and illustrative values; a design, not a record or a live system.
045 つの分野において

Labs and Foundry editions report what was tested and built for each domain.

05手法とエビデンス

How labs and foundry series is modelled, measured and tested.

モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。

モデル、方程式、仮定

The model structure used for labs and foundry series, the assumptions it makes and how each is tested.

要素 i のリスクRi = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力
年間期待損失EAL = ∑k pk · Lkover events k with annual probability pk
結合システムxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
仮定作られる理由検証の方法
一つの事象の中では、ハザードとエクスポージャーは独立している損失の積分を扱いやすく保つ同時記録に当てはめたコピュラと比較
結合は動作点の近くで線形であるショックを A を通じて伝播させる線形範囲を超えて摂動を与えて比較する
脆弱性曲線は場所を越えて適用できる地域固有の曲線はめったに得られない観測された損失がある場合はそれに照らして検証
入力
来歴付きのバージョン管理されたデータセット
成果物
分布であり、単一の数値ではない
コード
モデルカードと試験とともに公開
再現
同じデータ、コード、環境、シード
標準的なリスクおよび状態空間の定式化です。挙げた前提はこの手法に典型的なもので、審査のために示しており、結果ではありません。
FAIR 原則・GO FAIR と FORCE11W3C PROV・World Wide Web Consortium不確実性の一貫した扱いに関するガイダンス・IPCCCEOS 解析即応データ・地球観測衛星委員会
06指標

何を、どの程度うまく測定しているか。

各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。

指標単位周期出典の種類ラベル
Test protocols registered before testing報告の割合(パーセント)報告書ごとRegistry の記録観測
Test reports with archived code, data and configuration報告の割合(パーセント)報告書ごとRepository deposit records観測
Readiness level claimed and evidence attachedlevel claimed; yes or no for evidence報告書ごと報告書とエビデンス付属書申告済み
否定的な結果および結論の出ない結果も公開期間ごとの件数年次Series catalogue報告値
テスト対象システムのバージョンが特定されている報告の割合(パーセント)報告書ごとレポートのメタデータ観測
独立した技術レビューが完了可否を、審査者の役割とともに記載報告書ごとレビュー記録申告済み
07出典

エビデンスの出所。

名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。

出典提供するものライセンス区分
ZenodoArchived test data, configurations and software releases with DOIsメタデータは CC0、ライセンスはレコードごと
Software Heritage検証を行った正確なリビジョンで保存されたソースコードCode under its own licence
OSF RegistriesPre-registered test protocols and analysis plansMetadata CC0, licence per registration
protocols.ioバージョンと DOI を付した、公開済みの段階的手法Licence per protocol, mostly CC BY
NIST National Vulnerability Database試験対象のソフトウェアコンポーネントに関する既知の脆弱性パブリックドメイン
08決定

誰が決め、エビデンスが何に役立つか。

Reports はエビデンスを準備します。以下の決定は、記載された当局がそれぞれの規則に基づいて行うものであり、プラットフォームが行うことは決してありません。

誰が決定するか質問このページが提供するエビデンス
調達および導入に関する委員会Whether a tested technology is ready for a pilot or operational use準備状況のエビデンス付属書、試験条件および既知の制約
Innovation funders and programme managersWhether to fund the next stage of developmentReadiness level with its evidence, negative results and open risks
技術審査パネルWhether a test report is complete and its conclusions follow from the evidenceRegistered protocols, archived data and version identifiers
Standards and conformity assessment bodies試験方法が将来の標準に適しているかどうか文書化された試験手順とその再現性

このトピックが生み出す成果物

  • 条件、バージョン、合格基準を明記した試験報告書
  • 各レベルを裏づけるエビデンスに対応づけた、準備状況エビデンス付属書
  • Archived configurations and data for each test
  • 否定的結果および決着のつかない結果の登録簿
09中核となる問い

シリーズが問うこと。

Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.

  • What exactly was tested, under which protocol, with which data and in which environment?
  • What passed, what failed and what was not tested?
  • エビデンスは、示された次の段階を、またその段階のみを裏づけているか。
  • Which observations or signals warrant further analysis, and how reliable are they?
10対象範囲

シリーズが扱う範囲。

Three series report evidence from building, testing and observing.

ラボ

Experiments and testbeds

完了したプロトコルの結果。ヌル結果とネガティブ結果を含みます。

地域ミッションで最も多く使われる Foundry の

Build and readiness

Evidence about Foundry systems against stated readiness criteria, never as certification.

Signals

観測

Signals from monitoring, labelled by source and confidence, prompting analysis rather than action.

The series follows the logic of test and evaluation practice in engineering: a claim is only as good as the protocol that tested it, and readiness is always readiness for something specific. A tool that has passed a laboratory test is not ready for field use, and a system that worked in one exercise has not shown that it will work in every setting. Editions state these limits next to each result.

11版の作成方法

版の作成方法とその限界。

  1. 01

    プロトコル

    Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.

  2. 02

    Environments

    試験条件は記載されていますが、テストベッドでの結果が実運用にそのまま当てはまるとは限りません。

  3. 03

    準備度の基準

    Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.

  4. 04

    シグナルの品質

    Observatory signals state their source, coverage and false-alarm characteristics where known.

12手法

どのように研究され、手法が言えないことは何か。

  1. データエンジニアリング、相互運用性、データ・スチュワードシップJATS XML による構造化出版 · 記録全体にわたる永続識別子ここでの適用
  2. 不確実性の定量化とモデル検証評価における較正された表現 · エビデンスの確実性の評価ここでの適用
  3. 確率と統計異質性を明示したメタ分析 · 小規模研究バイアスと出版バイアスここでの適用
13Where this page’s references

Where this page’s references lead.

このページの読解の基準となる機関と文書。状態と版は変わります。各リンクは発行機関へ移動します。

14質問

質問と回答。

技術成熟度レベルとは何ですか。
技術が基本原理から実証された運用までどの程度進展したかを表す尺度。各レベルには特定のエビデンスが必要であり、そのエビデンスなしに示されたレベルは、実証ではなく宣言にすぎません。
Why publish failed tests?
Because a record of successes alone misleads. Negative and inconclusive results show where a technology does not work and stop others repeating the same test.
Does a passed test mean a system is safe?
いいえ。定められた条件の下で、システムが定められた基準を満たしたことを意味します。安全性は、使用状況、文脈、およびテストが対象としていなかった可能性のある条件に左右されます。
Does a readiness report mean a system is approved?
No. Readiness is fitness for a stated next step within a stated scope. It is not approval, certification or a statement that a service operates.
不合格となった試験は公開されますか。
はい。否定的な結果や結果なしも、エビデンスの一部です。これらを省くと、準備状況を過大に示すことになります。
ベンダーはシリーズで結果を公表できるか。
Results appear only from protocols run under the programme’s review. Vendor claims are labelled Institution-reported if cited at all.
観測所のシグナルは警告なのか。
いいえ。分析のきっかけを提供するものです。警報の発令は、引き続き所管当局に委ねられます。
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

GCRI報告書グローバル・システムのリスクとレジリエンス国のシステム・リスクとレジリエンス国別季報
報告書

手法、データセット、または問いを持ち込んでください。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。