GCRI · Reports
ラボとファウンドリーのシリーズ
Labs and foundry reports record technical tests: prototypes, software, sensors, data pipelines and procedures exercised under stated conditions. Test evidence is easy to overstate, because a passed test under controlled conditions is read as readiness for use. This page sets out how test reports are structured, reviewed and archived, how readiness levels are evidenced rather than declared, and what such evidence can support for those deciding whether to adopt or fund a technology.
Labs and foundry series on the record.
Labs と Foundry のシリーズ:リスクがどのように展開するか。
技術的な検証と準備状況のエビデンス。以下のドシエでは、リスクがどのように進展するか、何を測定するか、データの出典はどこか、どのようにモデル化するか、誰が決定するかを示します。
Test conditions narrow the claim
A test establishes behaviour under the conditions tested, with the inputs, environment and version used. Reports that omit those conditions invite readers to generalise beyond them.
Readiness declared not shown
技術成熟度レベルは、自己申告で割り当てられることが多くあります。各レベルが求めるエビデンスがなければ、成熟度の主張は検証されないまま、試験報告書から調達判断へと進んでしまいます。
否定的な結果が失われる
Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.
Versions change underneath
Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.
シリーズ制作デスク。
このテーマを追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。
シリーズ制作デスク
Labs and foundry series · Annual synthesis · Edition 7
制作中の版
| 年次の総括 | グローバル | データ確認 | 81 | W10 |
| 国別プロファイル 7 | 国 | 査読 | 97 | W16 |
| 水の見通し | 部門別 | 起草中 | 32 | W38 |
| 方法論ノート 4 | 手法 | 公開済み | 100 | 完了 |
データ確認、年次統合
版のパイプライン
- 概要理事会
- 草案著者
- データ確認すべての値
- 査読2 回のラウンド
- 編集決定
- リリースDOI
- 訂正バージョン管理
Labs and Foundry editions report what was tested and built for each domain.
Editions carry verification evidence under NS-11 of the proposed Nexus Standards. A test result is not an approval.
- 否定的結果。
- 再現研究。
How labs and foundry series is modelled, measured and tested.
モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。
モデル、方程式、仮定
The model structure used for labs and foundry series, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 仮定 | 作られる理由 | 検証の方法 |
|---|---|---|
| 一つの事象の中では、ハザードとエクスポージャーは独立している | 損失の積分を扱いやすく保つ | 同時記録に当てはめたコピュラと比較 |
| 結合は動作点の近くで線形である | ショックを A を通じて伝播させる | 線形範囲を超えて摂動を与えて比較する |
| 脆弱性曲線は場所を越えて適用できる | 地域固有の曲線はめったに得られない | 観測された損失がある場合はそれに照らして検証 |
- 入力
- 来歴付きのバージョン管理されたデータセット
- 成果物
- 分布であり、単一の数値ではない
- コード
- モデルカードと試験とともに公開
- 再現
- 同じデータ、コード、環境、シード
何を、どの程度うまく測定しているか。
各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。
| 指標 | 単位 | 周期 | 出典の種類 | ラベル |
|---|---|---|---|---|
| Test protocols registered before testing | 報告の割合(パーセント) | 報告書ごと | Registry の記録 | 観測 |
| Test reports with archived code, data and configuration | 報告の割合(パーセント) | 報告書ごと | Repository deposit records | 観測 |
| Readiness level claimed and evidence attached | level claimed; yes or no for evidence | 報告書ごと | 報告書とエビデンス付属書 | 申告済み |
| 否定的な結果および結論の出ない結果も公開 | 期間ごとの件数 | 年次 | Series catalogue | 報告値 |
| テスト対象システムのバージョンが特定されている | 報告の割合(パーセント) | 報告書ごと | レポートのメタデータ | 観測 |
| 独立した技術レビューが完了 | 可否を、審査者の役割とともに記載 | 報告書ごと | レビュー記録 | 申告済み |
エビデンスの出所。
名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。
| 出典 | 提供するもの | ライセンス区分 |
|---|---|---|
| Zenodo | Archived test data, configurations and software releases with DOIs | メタデータは CC0、ライセンスはレコードごと |
| Software Heritage | 検証を行った正確なリビジョンで保存されたソースコード | Code under its own licence |
| OSF Registries | Pre-registered test protocols and analysis plans | Metadata CC0, licence per registration |
| protocols.io | バージョンと DOI を付した、公開済みの段階的手法 | Licence per protocol, mostly CC BY |
| NIST National Vulnerability Database | 試験対象のソフトウェアコンポーネントに関する既知の脆弱性 | パブリックドメイン |
誰が決め、エビデンスが何に役立つか。
Reports はエビデンスを準備します。以下の決定は、記載された当局がそれぞれの規則に基づいて行うものであり、プラットフォームが行うことは決してありません。
| 誰が決定するか | 質問 | このページが提供するエビデンス |
|---|---|---|
| 調達および導入に関する委員会 | Whether a tested technology is ready for a pilot or operational use | 準備状況のエビデンス付属書、試験条件および既知の制約 |
| Innovation funders and programme managers | Whether to fund the next stage of development | Readiness level with its evidence, negative results and open risks |
| 技術審査パネル | Whether a test report is complete and its conclusions follow from the evidence | Registered protocols, archived data and version identifiers |
| Standards and conformity assessment bodies | 試験方法が将来の標準に適しているかどうか | 文書化された試験手順とその再現性 |
このトピックが生み出す成果物
- 条件、バージョン、合格基準を明記した試験報告書
- 各レベルを裏づけるエビデンスに対応づけた、準備状況エビデンス付属書
- Archived configurations and data for each test
- 否定的結果および決着のつかない結果の登録簿
シリーズが問うこと。
Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.
- What exactly was tested, under which protocol, with which data and in which environment?
- What passed, what failed and what was not tested?
- エビデンスは、示された次の段階を、またその段階のみを裏づけているか。
- Which observations or signals warrant further analysis, and how reliable are they?
シリーズが扱う範囲。
Three series report evidence from building, testing and observing.
Experiments and testbeds
完了したプロトコルの結果。ヌル結果とネガティブ結果を含みます。
Build and readiness
Evidence about Foundry systems against stated readiness criteria, never as certification.
観測
Signals from monitoring, labelled by source and confidence, prompting analysis rather than action.
The series follows the logic of test and evaluation practice in engineering: a claim is only as good as the protocol that tested it, and readiness is always readiness for something specific. A tool that has passed a laboratory test is not ready for field use, and a system that worked in one exercise has not shown that it will work in every setting. Editions state these limits next to each result.
版の作成方法とその限界。
- 01
プロトコル
Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.
- 02
Environments
試験条件は記載されていますが、テストベッドでの結果が実運用にそのまま当てはまるとは限りません。
- 03
準備度の基準
Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.
- 04
シグナルの品質
Observatory signals state their source, coverage and false-alarm characteristics where known.
Where this page’s references lead.
このページの読解の基準となる機関と文書。状態と版は変わります。各リンクは発行機関へ移動します。
質問と回答。
技術成熟度レベルとは何ですか。
Why publish failed tests?
Does a passed test mean a system is safe?
Does a readiness report mean a system is approved?
不合格となった試験は公開されますか。
ベンダーはシリーズで結果を公表できるか。
観測所のシグナルは警告なのか。
このページからエビデンスを提供する。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
- メールゲートウェイ GW-GCRIこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 報告書GCRI貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
手法、データセット、または問いを持ち込んでください。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。