Skip to content

GCRI · Foundry

Инженерия данных в Foundry

Data engineering decides whether evidence from different sectors can be combined at all. In this field it covers ingestion, validation, standardisation, provenance and stewardship: source passports, schemas and ontologies, frozen data cuts, and lineage that lets a correction reach every product built on the corrected source.

Направить запрос Back to STEM foundation of Foundry
01Реестр

Data engineering at Foundry on the record.

Запись о методеSTEM-метод
  1. МетодИнженерия данных, интероперабельность и управление данными
  2. РаспорядительДанные и вычисления
  3. Применяется вFoundry
  6. Каноническая страницаSTEM Commons
02Заявка

What data engineering, interoperability and stewardship does here.

Data engineering, interoperability and stewardship cover the pipelines, standards and governance that make data usable and trustworthy. They determine whether information from different sectors can be combined for joint оценки рисков. In data and compute and methods and modelling, sound data engineering allows hazard, exposure and financial data to be linked consistently. It supports transparent and repeatable analysis of interconnected risk. The canonical description is on STEM Commons.

Validation at the ingest boundary

Each incoming batch is checked against its declared schema, units and code lists before it is accepted. Failures are quarantined with a reason, and the original is retained unchanged beside the standardised record.

Frozen data cuts for reproducible products

Indices and loss estimates are computed from versioned, immutable snapshots, so a product can be re-run months later from exactly the data that produced it.

Correction impact through lineage

When a source owner issues a correction, the lineage graph lists every derived table, map and index that depends on it, and those products are marked stale until recomputed.

03Методы и доказательная база

How Data engineering at Foundry is modelled, measured and tested.

Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.

Модель, уравнения и допущения

The model structure used for Data engineering at Foundry, the assumptions it makes and how each is tested.

Риск элемента iRi = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагирования
Ожидаемый годовой ущербEAL = ∑k pk · Lkпо событиям k с годовой вероятностью pk
Связанные системыxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
ДопущениеЗачем это создаётсяКак это проверяется
В пределах события опасность и подверженность независимыДелает интеграл убытков вычислимымСравнить с подгонкой копулы по совместным записям
Вблизи рабочей точки связи линейныПозволяет потрясениям распространяться через AВыйдите за пределы линейного диапазона и сравните
Кривые уязвимости переносятся между местамиМестные кривые редко доступныПроверять по наблюдаемым убыткам там, где они есть
Исходные данные
версионированные наборы данных с указанием происхождения
Результаты
распределения, а не отдельные числа
Код
выпускается вместе с карточкой модели и тестами
Воспроизведение
те же данные, код, среда и начальное значение
Стандартные формулировки риска и пространства состояний; перечисленные допущения типичны для метода и приведены для рецензирования, а не как результаты.
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
04Данные

Что потребляет метод.

Datasets and records used by data engineering, interoperability and stewardship on this platform, with the role each plays and the label its values carry. Sources are listed in реестре источников.

ДанныеРольМетка
Source passportsOwner, licence, cadence, authority class and limitsЗАДЕКЛАРИРОВАНО
Schemas and ontology shapesValidation at ingestЗАДЕКЛАРИРОВАНО
Pipeline run logsLineage and failure analysisНАБЛЮДАЕМО
Published statistics and registersAuthoritative reference valuesОпубликованная статистика
Catalogue metadata in DCAT and STACDiscovery and reuseЗАДЕКЛАРИРОВАНО
05Процесс

Как устроен процесс.

Process explorer · Process

Data engineering at Foundry: Build, sign and accept

10 steps4 этапа2 контрольные точки

Процесс

Data engineering at Foundry: Build, sign and accept

Принятая миссия становится проектом цикла; сборка фиксируется, проверяется и подписывается, а Глобальный форум по рискам (Global Risks Forum, GRF) фиксирует приёмку для учений, а не разрешение на развёртывание.

  1. 01 Запрос и источники

    1. 01Допущенная миссия становится проектом циклаЗапись · Вселенная к FoundryДопущенная миссия становится проектом цикла с обоснованием решения.
    2. 02Квалификация источников данных и ресурсовШаг · the Global Centre for Risk and Innovation (GCRI)GCRI проводит квалификацию источников данных и предложений ресурсов и строит сценарные модели. Предложение не является распределением.

  2. 02 Сборка и проверка

    1. 03Снимок источникаЗапись · NXS-FAC (проекты, сборки и подписание)Снимок фиксирует коммит, зависимости и версии генераторов.
    2. 04Контракт на сборкуЗапись · NXS-FAC (проекты, сборки и подписание)Контракт на сборку указывает тип артефакта, среду и границы воспроизводимости.
    3. 05Интеграция и сборкаМодель · GCRIGCRI интегрирует программное обеспечение и данные, подписывает сборки и тестирует безопасность и совместимость.
    4. 06Набор проверокЭтап · NXS-FAC (проекты, сборки и подписание)Обязательные и рекомендательные проверки разделены. Воспроизводимость требует зафиксированных входных данных, заявленной недетерминированности и независимых пересборок.

  3. 03 Подписание и допуск

    1. 07Подписывать именно тот артефактШаг · NXS-FAC (проекты, сборки и подписание)NXS-FAC собирает, удостоверяет и запрашивает подпись через ограниченную идентичность подписанта. Он не хранит ключевой материал.
    2. 08Допуск пакетаШаг · NXS-NXQ (жизненный цикл программного обеспечения, моделей и возможностей)NXS-NXQ получает подписанный пакет и хранит доказательную базу допуска, связывающую задачу, класс данных, набор оценок и срок действия.

  4. 04 Принятие

    1. 09Отчёт о базовой сборкеЗапись · GCRIОсновной отчёт о сборке является записью решения «да/нет». Universe собирает ядро и принимает решение об учениях.
    2. 10G3 · Сборка принята для ученийЭтап · The Global Risks ForumGRF фиксирует, принята ли сборка для учений. Подписанная сборка или кандидат в релиз не является разрешением на развёртывание в эксплуатацию.

Год программы · NXS-FAC · UniverseDesigned programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The record order follows the Builds and Releases room lists of NXS-FAC.

06Валидация

Как проверяются результаты.

Pipelines are tested with automated quality checks, schema validation and lineage audits. Reconciliation against source системы confirms completeness.

ПроверкаКак это делается
Reconciliation with the sourceRow counts, totals and keys are compared with the source system after each load
Schema and unit validationRecords are tested against shapes, controlled vocabularies and CF or SI units before acceptance
Lineage auditA sample of published figures is traced back to the original records and the transformation steps are re-run
Licence checkEvery source and derived product carries a licence that permits its intended use

Incompatible standards, missing metadata and restrictive licences block integration. Legacy systems and undocumented transformations introduce silent errors.

07Связи

Темы, опирающиеся на этот метод.

08Ведение и сопровождение

Кто ведёт метод.

Данные и вычисления stewards data engineering, interoperability and stewardship for the Consortium and reviews how it is applied across platforms.

Canonical page: Data engineering, interoperability and stewardship

09Связано

Куда ведёт эта страница в рамках Консорциума.

10Вопросы

Вопросы и ответы.

What are the limits of data engineering, interoperability and stewardship in this field?
Incompatible standards, missing metadata and restrictive licences block integration. Legacy systems and undocumented transformations introduce silent errors.
Как проверяются результаты?
Pipelines are tested with automated quality checks, schema validation and lineage audits. Reconciliation against source systems confirms completeness.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIFoundryСборка и готовность в Foundry

Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.

Foundry

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Предложить метод Все контакты для обращений
Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.