Schema-validated ingestion
Incoming records are validated against a versioned schema before they enter the registry. Records that fail are quarantined with the reasons, not partially loaded, so a malformed field never reaches a public view.
GCRI · Registry
Инженерия данных в Registry
Data engineering, interoperability and stewardship are the working base of a registry: the schemas that define a record, the pipelines that ingest and transform it, the identifiers and crosswalks that link it to other системы, and the stewardship that keeps it accurate over time. Every provenance, correction and rights commitment on this platform depends on them.
01Реестр
Data engineering at Registry on the record.
Запись о методеSTEM-метод
- МетодИнженерия данных, интероперабельность и управление данными
- РаспорядительДанные и вычисления
- Применяется вРеестр
- ДанныеВходных данных: 5
- ПроверкиШагов валидации: 4
- Каноническая страницаSTEM Commons
02Заявка
What data engineering, interoperability and stewardship does here.
Data engineering, interoperability and stewardship cover the pipelines, standards and governance that make data usable and trustworthy. They determine whether information from different sectors can be combined for joint оценки рисков. In governance and institutions and research and evidence, sound data engineering allows hazard, exposure and financial data to be linked consistently. It supports transparent and repeatable analysis of interconnected risk. The canonical description is on STEM Commons.
Persistent identifier reconciliation
Free-text names of people, organisations and works are matched to ORCID, ROR and DOI records. The match method and confidence are stored with each link, and uncertain matches are routed to a steward.
Lineage capture in pipelines
Each transformation records its inputs, code version, responsible agent and time as PROV statements, so any published field can be traced back to the source rows that produced it.
03Методы и доказательная база
How Data engineering at Registry is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Наборы данных и происхождение
The data classes behind Data engineering at Registry and what is recorded about each before it is used.
| Класс данных | Происхождение записано | Разрешение указано | Лицензия проверена |
|---|---|---|---|
| Спутниковые снимки, оптические и радиолокационные | датчик, уровень обработки, дата съёмки | размер пикселя и частота повторного наблюдения | на сцену |
| Реанализ и результаты климатических моделей | модель, эксперимент, участник, версия | сетка и шаг по времени | на выпуск |
| Датчики и измерители на месте | станция, прибор, запись калибровки | точка и частота выборки | на сеть |
| Подверженность населения и активов | метод, год выпуска, входные источники | размер ячейки и единица | на выпуск |
| Границы и опорная география | производитель, издание, дата | масштаб | на издание |
- Происхождение
- Запись W3C PROV от источника до рисунка
- Принципы
- FAIR: находимые, доступные, совместимые, пригодные для повторного использования
- Пробелы
- показано как отсутствующее, никогда не заполняется молча
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
04Данные
Что потребляет метод.
Datasets and records used by data engineering, interoperability and stewardship on this platform, with the role each plays and the label its values carry. Sources are listed in реестре источников.
| Данные | Роль | Метка |
|---|---|---|
| Crossref and DataCite metadata | Reference metadata for registered works and outputs | СООБЩЕНО |
| ORCID records | Contributor identity and linked works | ЗАДЕКЛАРИРОВАНО |
| ROR registry | Organisation identifiers, name variants and relationships | СООБЩЕНО |
| Partner programme records | Ingested programme and participation records | СООБЩЕНО |
| Pipeline run logs | Lineage and transformation history | НАБЛЮДАЕМО |
05Процесс
Как устроен процесс.
Process explorer · Process
Data engineering at Registry: Build, sign and accept
10 steps·4 этапа·2 контрольные точки
Процесс
Data engineering at Registry: Build, sign and accept
Принятая миссия становится проектом цикла; сборка фиксируется, проверяется и подписывается, а Глобальный форум по рискам (Global Risks Forum, GRF) фиксирует приёмку для учений, а не разрешение на развёртывание.
01 Запрос и источники
- 01Допущенная миссия становится проектом циклаЗапись · Вселенная к FoundryДопущенная миссия становится проектом цикла с обоснованием решения.
- 02Квалификация источников данных и ресурсовШаг · the Global Centre for Risk and Innovation (GCRI)GCRI проводит квалификацию источников данных и предложений ресурсов и строит сценарные модели. Предложение не является распределением.
02 Сборка и проверка
- 03Снимок источникаЗапись · NXS-FAC (проекты, сборки и подписание)Снимок фиксирует коммит, зависимости и версии генераторов.
- 04Контракт на сборкуЗапись · NXS-FAC (проекты, сборки и подписание)Контракт на сборку указывает тип артефакта, среду и границы воспроизводимости.
- 05Интеграция и сборкаМодель · GCRIGCRI интегрирует программное обеспечение и данные, подписывает сборки и тестирует безопасность и совместимость.
- 06Набор проверокЭтап · NXS-FAC (проекты, сборки и подписание)Обязательные и рекомендательные проверки разделены. Воспроизводимость требует зафиксированных входных данных, заявленной недетерминированности и независимых пересборок.
03 Подписание и допуск
- 07Подписывать именно тот артефактШаг · NXS-FAC (проекты, сборки и подписание)NXS-FAC собирает, удостоверяет и запрашивает подпись через ограниченную идентичность подписанта. Он не хранит ключевой материал.
- 08Допуск пакетаШаг · NXS-NXQ (жизненный цикл программного обеспечения, моделей и возможностей)NXS-NXQ получает подписанный пакет и хранит доказательную базу допуска, связывающую задачу, класс данных, набор оценок и срок действия.
04 Принятие
- 09Отчёт о базовой сборкеЗапись · GCRIОсновной отчёт о сборке является записью решения «да/нет». Universe собирает ядро и принимает решение об учениях.
- 10G3 · Сборка принята для ученийЭтап · The Global Risks ForumGRF фиксирует, принята ли сборка для учений. Подписанная сборка или кандидат в релиз не является разрешением на развёртывание в эксплуатацию.
Год программы · NXS-FAC · UniverseDesigned programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The record order follows the Builds and Releases room lists of NXS-FAC.
06Валидация
Как проверяются результаты.
Pipelines are tested with automated quality checks, schema validation and lineage audits. Reconciliation against source системы confirms completeness.
| Проверка | Как это делается |
|---|---|
| Schema validation | Every record is validated against the published schema version; failures are counted and reported, never dropped silently |
| Reconciliation against source | Record counts and checksums are compared with the source system after every load |
| Lineage audit | A sample of published fields is traced back through the provenance graph to its source rows |
| Round-trip test | Records are exported, re-imported and compared field by field to expose lossy mappings |
Incompatible standards, missing metadata and restrictive licences block integration. Legacy systems and undocumented transformations introduce silent errors.
08Ведение и сопровождение
Кто ведёт метод.
Данные и вычисления stewards data engineering, interoperability and stewardship for the Consortium and reviews how it is applied across platforms.
09Связано
Куда ведёт эта страница в рамках Консорциума.
10Вопросы
Вопросы и ответы.
What are the limits of data engineering, interoperability and stewardship in this field?
Incompatible standards, missing metadata and restrictive licences block integration. Legacy systems and undocumented transformations introduce silent errors.
Как проверяются результаты?
Pipelines are tested with automated quality checks, schema validation and lineage audits. Reconciliation against source systems confirms completeness.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIРеестрМетоды и технические материалы
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Реестр
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Правовая информация
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.