Validation at the ingest boundary
Each incoming batch is checked against its declared schema, units and code lists before it is accepted. Failures are quarantined with a reason, and the original is retained unchanged beside the standardised record.
GCRI · Foundry
Инженерия данных в Foundry
Data engineering decides whether evidence from different sectors can be combined at all. In this field it covers ingestion, validation, standardisation, provenance and stewardship: source passports, schemas and ontologies, frozen data cuts, and lineage that lets a correction reach every product built on the corrected source.
01Реестр
Data engineering at Foundry on the record.
Запись о методеSTEM-метод
- МетодИнженерия данных, интероперабельность и управление данными
- РаспорядительДанные и вычисления
- Применяется вFoundry
- ДанныеВходных данных: 5
- ПроверкиШагов валидации: 4
- Каноническая страницаSTEM Commons
02Заявка
What data engineering, interoperability and stewardship does here.
Data engineering, interoperability and stewardship cover the pipelines, standards and governance that make data usable and trustworthy. They determine whether information from different sectors can be combined for joint оценки рисков. In data and compute and methods and modelling, sound data engineering allows hazard, exposure and financial data to be linked consistently. It supports transparent and repeatable analysis of interconnected risk. The canonical description is on STEM Commons.
Frozen data cuts for reproducible products
Indices and loss estimates are computed from versioned, immutable snapshots, so a product can be re-run months later from exactly the data that produced it.
Correction impact through lineage
When a source owner issues a correction, the lineage graph lists every derived table, map and index that depends on it, and those products are marked stale until recomputed.
03Методы и доказательная база
How Data engineering at Foundry is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Модель, уравнения и допущения
The model structure used for Data engineering at Foundry, the assumptions it makes and how each is tested.
Риск элемента i
Ri = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагированияОжидаемый годовой ущерб
EAL = ∑k pk · Lkпо событиям k с годовой вероятностью pkСвязанные системы
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Допущение | Зачем это создаётся | Как это проверяется |
|---|---|---|
| В пределах события опасность и подверженность независимы | Делает интеграл убытков вычислимым | Сравнить с подгонкой копулы по совместным записям |
| Вблизи рабочей точки связи линейны | Позволяет потрясениям распространяться через A | Выйдите за пределы линейного диапазона и сравните |
| Кривые уязвимости переносятся между местами | Местные кривые редко доступны | Проверять по наблюдаемым убыткам там, где они есть |
- Исходные данные
- версионированные наборы данных с указанием происхождения
- Результаты
- распределения, а не отдельные числа
- Код
- выпускается вместе с карточкой модели и тестами
- Воспроизведение
- те же данные, код, среда и начальное значение
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
04Данные
Что потребляет метод.
Datasets and records used by data engineering, interoperability and stewardship on this platform, with the role each plays and the label its values carry. Sources are listed in реестре источников.
| Данные | Роль | Метка |
|---|---|---|
| Source passports | Owner, licence, cadence, authority class and limits | ЗАДЕКЛАРИРОВАНО |
| Schemas and ontology shapes | Validation at ingest | ЗАДЕКЛАРИРОВАНО |
| Pipeline run logs | Lineage and failure analysis | НАБЛЮДАЕМО |
| Published statistics and registers | Authoritative reference values | Опубликованная статистика |
| Catalogue metadata in DCAT and STAC | Discovery and reuse | ЗАДЕКЛАРИРОВАНО |
05Процесс
Как устроен процесс.
Process explorer · Process
Data engineering at Foundry: Build, sign and accept
10 steps·4 этапа·2 контрольные точки
Процесс
Data engineering at Foundry: Build, sign and accept
Принятая миссия становится проектом цикла; сборка фиксируется, проверяется и подписывается, а Глобальный форум по рискам (Global Risks Forum, GRF) фиксирует приёмку для учений, а не разрешение на развёртывание.
01 Запрос и источники
- 01Допущенная миссия становится проектом циклаЗапись · Вселенная к FoundryДопущенная миссия становится проектом цикла с обоснованием решения.
- 02Квалификация источников данных и ресурсовШаг · the Global Centre for Risk and Innovation (GCRI)GCRI проводит квалификацию источников данных и предложений ресурсов и строит сценарные модели. Предложение не является распределением.
02 Сборка и проверка
- 03Снимок источникаЗапись · NXS-FAC (проекты, сборки и подписание)Снимок фиксирует коммит, зависимости и версии генераторов.
- 04Контракт на сборкуЗапись · NXS-FAC (проекты, сборки и подписание)Контракт на сборку указывает тип артефакта, среду и границы воспроизводимости.
- 05Интеграция и сборкаМодель · GCRIGCRI интегрирует программное обеспечение и данные, подписывает сборки и тестирует безопасность и совместимость.
- 06Набор проверокЭтап · NXS-FAC (проекты, сборки и подписание)Обязательные и рекомендательные проверки разделены. Воспроизводимость требует зафиксированных входных данных, заявленной недетерминированности и независимых пересборок.
03 Подписание и допуск
- 07Подписывать именно тот артефактШаг · NXS-FAC (проекты, сборки и подписание)NXS-FAC собирает, удостоверяет и запрашивает подпись через ограниченную идентичность подписанта. Он не хранит ключевой материал.
- 08Допуск пакетаШаг · NXS-NXQ (жизненный цикл программного обеспечения, моделей и возможностей)NXS-NXQ получает подписанный пакет и хранит доказательную базу допуска, связывающую задачу, класс данных, набор оценок и срок действия.
04 Принятие
- 09Отчёт о базовой сборкеЗапись · GCRIОсновной отчёт о сборке является записью решения «да/нет». Universe собирает ядро и принимает решение об учениях.
- 10G3 · Сборка принята для ученийЭтап · The Global Risks ForumGRF фиксирует, принята ли сборка для учений. Подписанная сборка или кандидат в релиз не является разрешением на развёртывание в эксплуатацию.
Год программы · NXS-FAC · UniverseDesigned programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The record order follows the Builds and Releases room lists of NXS-FAC.
06Валидация
Как проверяются результаты.
Pipelines are tested with automated quality checks, schema validation and lineage audits. Reconciliation against source системы confirms completeness.
| Проверка | Как это делается |
|---|---|
| Reconciliation with the source | Row counts, totals and keys are compared with the source system after each load |
| Schema and unit validation | Records are tested against shapes, controlled vocabularies and CF or SI units before acceptance |
| Lineage audit | A sample of published figures is traced back to the original records and the transformation steps are re-run |
| Licence check | Every source and derived product carries a licence that permits its intended use |
Incompatible standards, missing metadata and restrictive licences block integration. Legacy systems and undocumented transformations introduce silent errors.
08Ведение и сопровождение
Кто ведёт метод.
Данные и вычисления stewards data engineering, interoperability and stewardship for the Consortium and reviews how it is applied across platforms.
09Связано
Куда ведёт эта страница в рамках Консорциума.
10Вопросы
Вопросы и ответы.
What are the limits of data engineering, interoperability and stewardship in this field?
Incompatible standards, missing metadata and restrictive licences block integration. Legacy systems and undocumented transformations introduce silent errors.
Как проверяются результаты?
Pipelines are tested with automated quality checks, schema validation and lineage audits. Reconciliation against source systems confirms completeness.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIFoundryСборка и готовность в Foundry
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Foundry
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Правовая информация
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.