Validation at the ingest boundary
Each incoming batch is checked against its declared schema, units and code lists before it is accepted. Failures are quarantined with a reason, and the original is retained unchanged beside the standardised record.
GCRI · Foundry
Engenharia de dados no Foundry
Data engineering decides whether evidence from different sectors can be combined at all. In this field it covers ingestion, validation, standardisation, provenance and stewardship: source passports, schemas and ontologies, frozen data cuts, and lineage that lets a correction reach every product built on the corrected source.
01Registrar
Data engineering at Foundry on the record.
Registro do métodoMétodo CTEM
- MétodoEngenharia, interoperabilidade e gestão responsável de dados
- GuardiãoDados e computação
- Aplicado emFoundry
- Dados5 insumos
- Verificações4 etapas de validação
- Página canônicaCommons CTEM
02Candidatura
What data engineering, interoperability and stewardship does here.
Data engineering, interoperability and stewardship cover the pipelines, standards and governance that make data usable and trustworthy. They determine whether information from different sectors can be combined for joint avaliação de riscos. In data and compute and methods and modelling, sound data engineering allows hazard, exposure and financial data to be linked consistently. It supports transparent and repeatable analysis of interconnected risk. The canonical description is on o STEM Commons.
Frozen data cuts for reproducible products
Indices and loss estimates are computed from versioned, immutable snapshots, so a product can be re-run months later from exactly the data that produced it.
Correction impact through lineage
When a source owner issues a correction, the lineage graph lists every derived table, map and index that depends on it, and those products are marked stale until recomputed.
03Métodos e evidência
How Data engineering at Foundry is modelled, measured and tested.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo, equações e pressupostos
The model structure used for Data engineering at Foundry, the assumptions it makes and how each is tested.
Risco do elemento i
Ri = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamentoPerda anual esperada
EAL = ∑k pk · Lksobre os eventos k com probabilidade anual pkSistemas acoplados
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Pressuposto | Porque é feito | Como é testado |
|---|---|---|
| A ameaça e a exposição são independentes dentro de um evento | Mantém tratável o integral de perdas | Comparar com um ajuste de cópula sobre registros conjuntos |
| Os acoplamentos são lineares perto do ponto de funcionamento | Permite que os choques se propaguem através de A | Perturbar para além do intervalo linear e comparar |
| As curvas de vulnerabilidade transferem-se entre lugares | As curvas locais raramente estão disponíveis | Validar face às perdas observadas quando existam |
- Entradas
- conjuntos de dados versionados com proveniência
- Resultados
- distribuições, nunca números isolados
- Código
- publicado com a ficha de modelo e os testes
- Reprodução
- mesmos dados, código, ambiente e semente
Princípios orientadores FAIR · GO FAIR e FORCE11W3C PROV · World Wide Web ConsortiumOrientação sobre o tratamento consistente das incertezas · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
04Dados
O que o método consome.
Datasets and records used by data engineering, interoperability and stewardship on this platform, with the role each plays and the label its values carry. Sources are listed in registro de fontes.
| Dados | Função | Rótulo |
|---|---|---|
| Source passports | Owner, licence, cadence, authority class and limits | DECLARADO |
| Schemas and ontology shapes | Validation at ingest | DECLARADO |
| Pipeline run logs | Lineage and failure analysis | OBSERVADO |
| Published statistics and registers | Authoritative reference values | Estatísticas publicadas |
| Catalogue metadata in DCAT and STAC | Discovery and reuse | DECLARADO |
05Processo
Como decorre o processo.
Process explorer · Process
Data engineering at Foundry: Build, sign and accept
10 steps·4 etapas·2 portões
Processo
Data engineering at Foundry: Build, sign and accept
Uma missão admitida torna-se um projeto de ciclo; a construção é fixada, verificada e assinada, e o Global Risks Forum (GRF) registra a aceitação para exercício, não a permissão de implantação.
01 Pedido e fontes
- 01Uma missão admitida torna-se um projeto do cicloRegistro · Universo para FoundryUma missão admitida torna-se um projeto do ciclo com um caso de decisão.
- 02Qualificar as fontes de dados e os recursosEtapa · o Global Centre for Risk and Innovation (GCRI)O GCRI qualifica as fontes de dados e as ofertas de recursos e constrói os modelos de cenários. Uma oferta não é uma alocação.
02 Construir e verificar
- 03Instantâneo das fontesRegistro · NXS-FAC (projetos, construções e assinatura)O instantâneo fixa o commit, as dependências e as versões dos geradores.
- 04Contrato de construçãoRegistro · NXS-FAC (projetos, construções e assinatura)O contrato de construção declara o tipo de artefato, o ambiente e o envelope de reprodutibilidade.
- 05Integrar e construirModelo · GCRIO GCRI integra software e dados, assina as construções e testa a segurança e a interoperabilidade.
- 06Conjunto de verificaçõesEtapa de controle · NXS-FAC (projetos, construções e assinatura)As verificações obrigatórias e as consultivas permanecem separadas. A reprodutibilidade exige insumos fixados, não determinismo declarado e reconstruções independentes.
03 Assinar e admitir
- 07Assinar o artefato exatoEtapa · NXS-FAC (projetos, construções e assinatura)O NXS-FAC constrói, atesta e solicita uma assinatura por meio de uma identidade de assinante com âmbito definido. Não detém material de chaves.
- 08Admissão de pacotesEtapa · NXS-NXQ (software, modelos e ciclo de vida das capacidades)O NXS-NXQ recebe o pacote assinado e mantém as evidências de admissão que vinculam a tarefa, a classe de dados, o conjunto de avaliação e a expiração.
04 Aceitar
- 09Relatório de construção centralRegistro · GCRIO Core Build Report é o registro de avançar ou não avançar. O Universe monta o Core e detém a decisão sobre o exercício.
- 10G3 · Construção aceita para exercícioEtapa de controle · The Global Risks ForumO GRF registra se a construção é aceita para exercício. Uma construção assinada ou uma versão candidata não constitui autorização para implantar em produção.
O ano do programa · NXS-FAC · UniverseDesigned programme process, not a record of operation. No cycle has run and every programme is at service level R0. A gate is a programme decision, never a public-authority approval, certification or deployment authorisation. The record order follows the Builds and Releases room lists of NXS-FAC.
06Validação
Como os resultados são verificados.
Pipelines are tested with automated quality checks, schema validation and lineage audits. Reconciliation against source sistemas confirms completeness.
| Verificar | Como é feito |
|---|---|
| Reconciliation with the source | Row counts, totals and keys are compared with the source system after each load |
| Schema and unit validation | Records are tested against shapes, controlled vocabularies and CF or SI units before acceptance |
| Lineage audit | A sample of published figures is traced back to the original records and the transformation steps are re-run |
| Licence check | Every source and derived product carries a licence that permits its intended use |
Incompatible standards, missing metadata and restrictive licences block integration. Legacy systems and undocumented transformations introduce silent errors.
08Gestão responsável
Quem mantém o método.
Dados e computação stewards data engineering, interoperability and stewardship for the Consortium and reviews how it is applied across platforms.
09Ligado
Para onde esta página leva em todo o Consórcio.
10Perguntas
Perguntas e respostas.
What are the limits of data engineering, interoperability and stewardship in this field?
Incompatible standards, missing metadata and restrictive licences block integration. Legacy systems and undocumented transformations introduce silent errors.
Como os resultados são verificados?
Pipelines are tested with automated quality checks, schema validation and lineage audits. Reconciliation against source systems confirms completeness.
Os valores desta página são reais?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Onde mais este método é aplicado?
A página canônica do método lista todas as plataformas que o aplicam.
RelatóriosContribuir
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIFoundryConstrução e prontidão do Foundry
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Foundry
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Jurídico
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.