GCRI · Tecnología
Ingeniería, interoperabilidad y custodia de datos
La ingeniería de datos, la interoperabilidad y la custodia de datos abarcan los procesos, las normas y la gobernanza que hacen que los datos sean utilizables y fiables. Determinan si la información de distintos sectores puede combinarse para una evaluación de riesgosconjunta. Data and Compute custodia esta página para el Nexus Consortium.
Ingeniería de datos, interoperabilidad y custodia, con constancia en el registro.
- 01InstituciónEl Global Centre for Risk and Innovation (GCRI)
- 02The methodWhat data engineering, interoperability and stewardship covers
- 03Práctica de referenciaLa ingeniería de datos sigue estándares de custodia, procedencia y catálogo
- 04En el trabajo sobre riesgos sistémicosEl canal de procesamiento forma parte de la evidencia
- 05Se aplica enPlataformas que aplican este método
- 06Custodia responsableQuién mantiene esta página
- 07SourcesWhere this page’s references lead
Qué abarcan la ingeniería de datos, la interoperabilidad y la custodia.
- 01
Métodos básicos
data pipeline design; schema and metadata standards; data quality assessment; provenance tracking; master data management; access control and licensing.
- 02
Datos e instrumentos
data catalogues; application programming interfaces; metadata registries; data lakes and warehouses; open data portals.
- 03
Validación
Los flujos de datos se prueban con controles automáticos de calidad, validación de esquemas y auditorías de trazabilidad. La conciliación con los sistemas de origen confirma que los datos están completos.
- 04
Límites
Los estándares incompatibles, los metadatos ausentes y las licencias restrictivas impiden la integración. Los sistemas heredados y las transformaciones no documentadas introducen errores silenciosos.
- 05
Uso en decisiones de riesgo
Una ingeniería de datos sólida permite vincular de forma coherente los datos de amenaza, exposición y financieros. Respalda un análisis transparente y repetible del riesgo interconectado.
Data engineering follows stewardship, provenance and catalogue standards.
| Referencia | Qué establece |
|---|---|
| Principios FAIR | Findable, accessible, interoperable, reusable data |
| W3C PROV | Modelo de procedencia |
| W3C DCAT | Data catalogue vocabulary |
| GSBPM | Statistical production process model |
Cómo funciona el proceso.
Process explorer · Process
Data engineering, interoperability and stewardship: Catastrophe model pipeline
10 steps·5 stages
Proceso
Data engineering, interoperability and stewardship: Catastrophe model pipeline
Los modelos de catástrofes suelen tener módulos de amenaza, vulnerabilidad, exposición y financiero, y producen tablas de pérdidas, la pérdida anual media, curvas de excedencia, la PML y el TVaR.
01 Amenaza
- 01Catálogo de eventosConjunto de datos · Desarrollador del modeloEl módulo de amenazas contiene un amplio catálogo de eventos simulados que representa una gran variedad de escenarios plausibles.
- 03Módulo de amenazasModelo · Desarrollador del modeloPara cada evento, el módulo de amenazas proporciona la intensidad local de la amenaza que lee el módulo de vulnerabilidad.
02 Exposición y daños
- 02ExposiciónConjunto de datos · Responsable del programaEl módulo de exposición contiene los datos de la cartera, como la información específica de cada ubicación.
- 04Módulo de vulnerabilidadModelo · Desarrollador del modeloEl módulo de vulnerabilidad cuantifica los daños esperados en los elementos expuestos a causa de un evento.
03 Financiero
- 05Módulo financieroModelo · Responsable del programaEl módulo financiero calcula las pérdidas de todos los escenarios de eventos. Las pérdidas desde el primer euro (ground-up), brutas y netas difieren como se muestra a continuación.
- 06Tabla de pérdidas por eventoConjunto de datos · Responsable del programaUna tabla de pérdidas por evento enumera cada evento con su probabilidad de ocurrencia anual y su pérdida para la cartera.
- 07Tabla de pérdidas anualesConjunto de datos · Responsable del programaAlgunos modelos también muestrean años simulados a partir de las pérdidas de los eventos. Este esquema no describe su formato.
04 Métricas
- 08Exceedance probability curvesModel · Programme ownerThe occurrence curve gives the chance that the largest loss in a year exceeds an amount. The aggregate curve does so for the sum of losses.
- 09AAL, PML y TVaRModelo · Responsable del programaLa pérdida anual media suma la probabilidad de cada evento multiplicada por su pérdida. La PML es un punto de la curva de ocurrencia.
05 Uso de los resultados
- 10Use of resultsDecision · Programme ownerThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
Esquema de una norma o un método externos, a partir de sus fuentes públicas. Describe lo que dice el marco, no un registro de ninguna ejecución. No demuestra que Nexus ni ningún socio realice, certifique o apruebe un paso. Una puerta es un paso del método, nunca una aprobación de Nexus.
La cadena de procesamiento forma parte de la evidencia.
Every transformation between a source and a published figure (cleaning, joining, imputing, aggregating) is a place where errors and assumptions enter. In cross-system analysis pipelines are long and shared, so provenance records are what make a figure traceable and a correction possible.
- Record provenance at each transformation.
- Make imputation visible in outputs.
- Version datasets so a figure can be regenerated.
- Aplicaciones en Registro y serie Reports.
Plataformas que aplican este método.
Quién mantiene esta página.
Data and Compute stewards data engineering, interoperability and stewardship: it keeps this description current and reviews how the method is applied across the platforms.
Where this page’s references lead.
Los organismos y documentos con los que se lee esta página. El estado y las ediciones cambian; cada enlace lleva al organismo emisor.
Preguntas y respuestas.
¿Por qué una sola institución aloja todas las páginas de métodos?
¿Cómo propongo una corrección a una página de métodos?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GCRIEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- serie ReportsGCRIVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Aporte un método, un conjunto de datos o una pregunta.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.