GCRI · Reports
Серия Labs и Foundry
Labs and foundry reports record technical tests: prototypes, software, sensors, data pipelines and procedures exercised under stated conditions. Test evidence is easy to overstate, because a passed test under controlled conditions is read as readiness for use. This page sets out how test reports are structured, reviewed and archived, how readiness levels are evidenced rather than declared, and what such evidence can support for those deciding whether to adopt or fund a technology.
Labs and foundry series on the record.
Серии Labs и Foundry: как развивается риск.
Technical test and readiness evidence. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Test conditions narrow the claim
Тест устанавливает поведение в проверенных условиях, при использованных входных данных, среде и версии. Отчёты , в которых эти условия опущены, побуждают читателей обобщать результаты за их пределами.
Readiness declared not shown
Technology readiness levels are often self-assigned. Without the evidence each level requires, a readiness claim moves from test report to procurement decision unchecked.
Отрицательные результаты теряются
Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.
Versions change underneath
Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.
Отдел серийного производства.
Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.
Отдел серийного производства
Серии Labs и Foundry · Ежегодный обобщающий обзор · Выпуск 7
Издания в производстве
| Годовой обобщающий доклад | Глобальный уровень | Проверка данных | 81 | W10 |
| Профиль страны 7 | Страна | Экспертное рецензирование | 97 | W16 |
| Прогноз по водным ресурсам | Секторальный | Подготовка проекта | 32 | W38 |
| Методическая заметка 4 | Методы | Выпущено | 100 | готово |
Проверка данных, ежегодный синтез
Конвейер изданий
- Плансовет
- Проектавторы
- Проверка данныхкаждое значение
- Экспертное рецензированиедва раунда
- Редакционныйрешение
- ВыпускDOI
- Исправленияс версиями
Labs and Foundry editions report what was tested and built for each domain.
Editions carry verification evidence under NS-11 of the proposed Nexus Standards. A test result is not an approval.
- Отрицательные результаты.
- Replications.
How labs and foundry series is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Модель, уравнения и допущения
Структура модели, используемая для серий Labs и Foundry, допущения, которые она делает, и способ проверки каждого из них.
Ri = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагированияEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Допущение | Зачем это создаётся | Как это проверяется |
|---|---|---|
| В пределах события опасность и подверженность независимы | Делает интеграл убытков вычислимым | Сравнить с подгонкой копулы по совместным записям |
| Вблизи рабочей точки связи линейны | Позволяет потрясениям распространяться через A | Выйдите за пределы линейного диапазона и сравните |
| Кривые уязвимости переносятся между местами | Местные кривые редко доступны | Проверять по наблюдаемым убыткам там, где они есть |
- Исходные данные
- версионированные наборы данных с указанием происхождения
- Результаты
- распределения, а не отдельные числа
- Код
- выпускается вместе с карточкой модели и тестами
- Воспроизведение
- те же данные, код, среда и начальное значение
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Test protocols registered before testing | процент отчётов | на один отчёт | Записи Registry | НАБЛЮДАЕМО |
| Test reports with archived code, data and configuration | процент отчётов | на один отчёт | Записи о депонировании в репозиториях | НАБЛЮДАЕМО |
| Readiness level claimed and evidence attached | level claimed; yes or no for evidence | на один отчёт | Report and evidence annex | ЗАДЕКЛАРИРОВАНО |
| Negative and inconclusive results published | количество за период | ежегодно | Series catalogue | СООБЩЕНО |
| Version of the tested system identified | процент отчётов | на один отчёт | Метаданные отчёта | НАБЛЮДАЕМО |
| Independent technical review completed | да или нет, с указанием роли рецензента | на один отчёт | Запись о рецензировании | ЗАДЕКЛАРИРОВАНО |
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| Zenodo | Archived test data, configurations and software releases with DOIs | Метаданные CC0, лицензия для каждой записи |
| Software Heritage | Preserved source code at the exact revision tested | Code under its own licence |
| OSF Registries | Pre-registered test protocols and analysis plans | Metadata CC0, licence per registration |
| protocols.io | Published step-by-step methods with versions and DOIs | Licence per protocol, mostly CC BY |
| NIST National Vulnerability Database | Известные уязвимости программных компонентов, проходящих испытания | Общественное достояние |
Кто принимает решения и чему служит доказательная база.
Reports готовит доказательную базу. Перечисленные ниже решения принимают указанные органы в соответствии со своими правилами, и никогда не платформа.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Procurement and adoption boards | Whether a tested technology is ready for a pilot or operational use | Readiness evidence annexes, test conditions and known limitations |
| Innovation funders and programme managers | Whether to fund the next stage of development | Readiness level with its evidence, negative results and open risks |
| Technical review panels | Whether a test report is complete and its conclusions follow from the evidence | Registered protocols, archived data and version identifiers |
| Standards and conformity assessment bodies | Whether test methods are suitable for a future standard | Documented test procedures and their reproducibility |
Результаты, которые даёт эта тема
- Протоколы испытаний с указанием условий, версий и критериев приёмки
- Readiness evidence annexes mapping each level to its evidence
- Archived configurations and data for each test
- A register of negative and inconclusive results
Что исследует серия.
Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.
- What exactly was tested, under which protocol, with which data and in which environment?
- What passed, what failed and what was not tested?
- Does the evidence support the stated next step, and only that step?
- Which observations or signals warrant further analysis, and how reliable are they?
Что охватывает серия.
Three series report evidence from building, testing and observing.
Experiments and testbeds
Results from completed protocols, including null and negative results.
Build and readiness
Evidence about Foundry systems against stated readiness criteria, never as certification.
Наблюдение
Signals from monitoring, labelled by source and confidence, prompting analysis rather than action.
The series follows the logic of test and evaluation practice in engineering: a claim is only as good as the protocol that tested it, and readiness is always readiness for something specific. A tool that has passed a laboratory test is not ready for field use, and a system that worked in one exercise has not shown that it will work in every setting. Editions state these limits next to each result.
Как формируются издания и каковы их ограничения.
- 01
Протоколы
Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.
- 02
Environments
Test conditions are described; results from a testbed may not transfer to live operation.
- 03
Критерии готовности
Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.
- 04
Signal quality
Observatory signals state their source, coverage and false-alarm characteristics where known.
Как это изучается и чего методы не могут сказать.
- 01Инженерия данных, интероперабельность и управление даннымиСтруктурированная публикация в JATS XML · Постоянные идентификаторы по всей записиПрименяется здесь
- 02Количественная оценка неопределённости и валидация моделейКалиброванная формулировка оценок · Рейтинги достоверности доказательной базыПрименяется здесь
- 03Теория вероятностей и статистикаМетаанализ с указанием гетерогенности · Смещение малых исследований и публикационное смещениеПрименяется здесь
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
Вопросы и ответы.
Что такое уровень технологической готовности?
Зачем публиковать неудачные тесты?
Does a passed test mean a system is safe?
Does a readiness report mean a system is approved?
Are failed tests published?
Can vendors publish results in the series?
Are observatory signals warnings?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.