Skip to content

GCRI · Reports

Серия Labs и Foundry

Labs and foundry reports record technical tests: prototypes, software, sensors, data pipelines and procedures exercised under stated conditions. Test evidence is easy to overstate, because a passed test under controlled conditions is read as readiness for use. This page sets out how test reports are structured, reviewed and archived, how readiness levels are evidenced rather than declared, and what such evidence can support for those deciding whether to adopt or fund a technology.

02Вопрос

Серии Labs и Foundry: как развивается риск.

Technical test and readiness evidence. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Test conditions narrow the claim

Тест устанавливает поведение в проверенных условиях, при использованных входных данных, среде и версии. Отчёты , в которых эти условия опущены, побуждают читателей обобщать результаты за их пределами.

Механизм

Readiness declared not shown

Technology readiness levels are often self-assigned. Without the evidence each level requires, a readiness claim moves from test report to procurement decision unchecked.

Механизм

Отрицательные результаты теряются

Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.

Механизм

Versions change underneath

Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.

03Мониторинг

Отдел серийного производства.

Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.

Отдел серийного производства

Серии Labs и Foundry · Ежегодный обобщающий обзор · Выпуск 7

Data check behind planGCRI · Reports

Издания в производстве

Годовой обобщающий докладГлобальный уровеньПроверка данных81W10
Профиль страны 7СтранаЭкспертное рецензирование97W16
Прогноз по водным ресурсамСекторальныйПодготовка проекта32W38
Методическая заметка 4МетодыВыпущено100готово

Проверка данных, ежегодный синтез

Прослежено значений, %79 of 100 requiredПрисвоено меток, %Требуется 95 из 100Указанная неопределённость, %73 из 100 требуемых

Конвейер изданий

  1. Плансовет
  2. Проектавторы
  3. Проверка данныхкаждое значение
  4. Экспертное рецензированиедва раунда
  5. Редакционныйрешение
  6. ВыпускDOI
  7. Исправленияс версиями
Series production desk: the screen’s structure, terms and states for Labs and foundry series.Example names and illustrative values; a design, not a record or a live system.
04В пяти областях

Labs and Foundry editions report what was tested and built for each domain.

Editions carry verification evidence under NS-11 of the proposed Nexus Standards. A test result is not an approval.

  • Отрицательные результаты.
  • Replications.
05Методы и доказательная база

How labs and foundry series is modelled, measured and tested.

Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.

Модель, уравнения и допущения

Структура модели, используемая для серий Labs и Foundry, допущения, которые она делает, и способ проверки каждого из них.

Риск элемента iRi = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагирования
Ожидаемый годовой ущербEAL = ∑k pk · Lkover events k with annual probability pk
Связанные системыxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
ДопущениеЗачем это создаётсяКак это проверяется
В пределах события опасность и подверженность независимыДелает интеграл убытков вычислимымСравнить с подгонкой копулы по совместным записям
Вблизи рабочей точки связи линейныПозволяет потрясениям распространяться через AВыйдите за пределы линейного диапазона и сравните
Кривые уязвимости переносятся между местамиМестные кривые редко доступныПроверять по наблюдаемым убыткам там, где они есть
Исходные данные
версионированные наборы данных с указанием происхождения
Результаты
распределения, а не отдельные числа
Код
выпускается вместе с карточкой модели и тестами
Воспроизведение
те же данные, код, среда и начальное значение
Стандартные формулировки риска и пространства состояний; перечисленные допущения типичны для метода и приведены для рецензирования, а не как результаты.
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
06Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Test protocols registered before testingпроцент отчётовна один отчётЗаписи RegistryНАБЛЮДАЕМО
Test reports with archived code, data and configurationпроцент отчётовна один отчётЗаписи о депонировании в репозиторияхНАБЛЮДАЕМО
Readiness level claimed and evidence attachedlevel claimed; yes or no for evidenceна один отчётReport and evidence annexЗАДЕКЛАРИРОВАНО
Negative and inconclusive results publishedколичество за периодежегодноSeries catalogueСООБЩЕНО
Version of the tested system identifiedпроцент отчётовна один отчётМетаданные отчётаНАБЛЮДАЕМО
Independent technical review completedда или нет, с указанием роли рецензентана один отчётЗапись о рецензированииЗАДЕКЛАРИРОВАНО
07Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
ZenodoArchived test data, configurations and software releases with DOIsМетаданные CC0, лицензия для каждой записи
Software HeritagePreserved source code at the exact revision testedCode under its own licence
OSF RegistriesPre-registered test protocols and analysis plansMetadata CC0, licence per registration
protocols.ioPublished step-by-step methods with versions and DOIsLicence per protocol, mostly CC BY
NIST National Vulnerability DatabaseИзвестные уязвимости программных компонентов, проходящих испытанияОбщественное достояние
08Решения

Кто принимает решения и чему служит доказательная база.

Reports готовит доказательную базу. Перечисленные ниже решения принимают указанные органы в соответствии со своими правилами, и никогда не платформа.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Procurement and adoption boardsWhether a tested technology is ready for a pilot or operational useReadiness evidence annexes, test conditions and known limitations
Innovation funders and programme managersWhether to fund the next stage of developmentReadiness level with its evidence, negative results and open risks
Technical review panelsWhether a test report is complete and its conclusions follow from the evidenceRegistered protocols, archived data and version identifiers
Standards and conformity assessment bodiesWhether test methods are suitable for a future standardDocumented test procedures and their reproducibility

Результаты, которые даёт эта тема

  • Протоколы испытаний с указанием условий, версий и критериев приёмки
  • Readiness evidence annexes mapping each level to its evidence
  • Archived configurations and data for each test
  • A register of negative and inconclusive results
09Ключевые вопросы

Что исследует серия.

Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.

  • What exactly was tested, under which protocol, with which data and in which environment?
  • What passed, what failed and what was not tested?
  • Does the evidence support the stated next step, and only that step?
  • Which observations or signals warrant further analysis, and how reliable are they?
10Охват

Что охватывает серия.

Three series report evidence from building, testing and observing.

Лаборатории

Experiments and testbeds

Results from completed protocols, including null and negative results.

Foundry

Build and readiness

Evidence about Foundry systems against stated readiness criteria, never as certification.

Signals

Наблюдение

Signals from monitoring, labelled by source and confidence, prompting analysis rather than action.

The series follows the logic of test and evaluation practice in engineering: a claim is only as good as the protocol that tested it, and readiness is always readiness for something specific. A tool that has passed a laboratory test is not ready for field use, and a system that worked in one exercise has not shown that it will work in every setting. Editions state these limits next to each result.

11Как формируются издания

Как формируются издания и каковы их ограничения.

  1. 01

    Протоколы

    Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.

  2. 02

    Environments

    Test conditions are described; results from a testbed may not transfer to live operation.

  3. 03

    Критерии готовности

    Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.

  4. 04

    Signal quality

    Observatory signals state their source, coverage and false-alarm characteristics where known.

12Методы

Как это изучается и чего методы не могут сказать.

  1. Инженерия данных, интероперабельность и управление даннымиСтруктурированная публикация в JATS XML · Постоянные идентификаторы по всей записиПрименяется здесь
  2. Количественная оценка неопределённости и валидация моделейКалиброванная формулировка оценок · Рейтинги достоверности доказательной базыПрименяется здесь
  3. Теория вероятностей и статистикаМетаанализ с указанием гетерогенности · Смещение малых исследований и публикационное смещениеПрименяется здесь
13Where this page’s references

Where this page’s references lead.

Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.

14Вопросы

Вопросы и ответы.

Что такое уровень технологической готовности?
A scale describing how far a technology has progressed from basic principles to demonstrated operation. Each level requires specific evidence; a level stated without that evidence is a declaration, not a demonstration.
Зачем публиковать неудачные тесты?
Because a record of successes alone misleads. Negative and inconclusive results show where a technology does not work and stop others repeating the same test.
Does a passed test mean a system is safe?
No. It means the system met the stated criteria under the stated conditions. Safety depends on use, context and conditions the test may not have covered.
Does a readiness report mean a system is approved?
No. Readiness is fitness for a stated next step within a stated scope. It is not approval, certification or a statement that a service operates.
Are failed tests published?
Yes. Negative and null results are part of the evidence, and omitting them would overstate readiness.
Can vendors publish results in the series?
Results appear only from protocols run under the programme’s review. Vendor claims are labelled Institution-reported if cited at all.
Are observatory signals warnings?
No. They prompt analysis. Warnings remain with competent authorities.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

GCRIОтчётыГлобальные риски систем и устойчивостьРиски и устойчивость страновых системЕжеквартальный страновой обзор
Отчёты

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.