Skip to content

GCRI · 技术

数据工程、互操作性与数据管护

数据工程、互操作性和数据管理涵盖使数据可用且可信的管道、标准和治理。它们决定不同部门的信息能否合并用于联合 风险评估。数据与算力领域为 Nexus Consortium 负责管理本页面。

02方法

数据工程、互操作性和管理工作所涵盖的内容。

  1. 01

    核心方法

    数据管道设计;模式与元数据标准; 数据质量 评估;来源追溯;主数据管理;访问控制与许可。

  2. 02

    数据与工具

    data catalogues; application programming interfaces; metadata registries; data lakes and warehouses; open data portals.

  3. 03

    验证

    数据管道通过自动化质量检查、模式验证和谱系审计进行测试。与源 系统 的对账可确认其完整性。

  4. 04

    局限

    不兼容的标准、缺失的元数据和限制性许可会阻碍整合。遗留系统和未记录的转换会引入隐性错误。

  5. 05

    在风险决策中的使用

    完善的数据工程能够使危害、风险暴露和金融数据实现一致关联,并支持对相互关联的风险进行透明、可重复的分析。

03参考实践

Data engineering follows stewardship, provenance and catalogue standards.

编号它规定了什么
FAIR 原则Findable, accessible, interoperable, reusable data
W3C PROV来源追溯模型
W3C DCATData catalogue vocabulary
GSBPM统计生产过程模型
04流程

流程如何运行。

Process explorer · Process

Data engineering, interoperability and stewardship: Catastrophe model pipeline

10 steps5 stages

流程

Data engineering, interoperability and stewardship: Catastrophe model pipeline

巨灾模型通常包括危害、脆弱性、风险暴露与财务模块,并生成损失表、 年均损失、超越曲线、PML 与 TVaR。

  1. 01 危害

    1. 01事件目录数据集 · 模型开发者危害模块包含一个大型模拟事件目录,代表多种多样的合理情景。
    2. 03危害模块模型 · 模型开发者对于每个事件,危害模块给出当地的 危害强度 ,供脆弱性模块读取。
  2. 02 风险暴露与损害

    1. 02风险暴露数据集 · 项目负责方风险暴露模块存放组合数据,例如特定地点的信息。
    2. 04脆弱性模块模型 · 模型开发者脆弱性模块量化某一事件对风险暴露对象造成的预期损害。
  3. 03 财务

    1. 05财务模块模型 · 项目负责人财务模块计算所有事件情景造成的损失。基础损失、总损失与净损失的区别如下所示。
    2. 06事件损失表数据集 · 项目负责方事件损失表列出每个事件的年发生概率及其对组合造成的损失。
    3. 07年度损失表数据集 · 项目负责方有些模型还会从事件损失中抽样模拟年份。本概述不描述其格式。
  4. 04 指标

    1. 08超越概率 曲线模型 · 项目负责人发生曲线给出一年中最大损失超过某一金额的概率。累积曲线针对损失总和给出同样的概率。
    2. 09AAL、PML 与 TVaR模型 · 项目负责人年均损失是事件概率与损失乘积之和。PML 是发生曲线上的一个点。
  5. 05 结果的使用

    1. 10Use of resultsDecision · Programme ownerThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

依据公开来源对某一外部标准或方法的概述。它描述的是该框架的内容,而非任何运行记录。它并不表明 Nexus 或任何合作伙伴执行、认证或批准某一步骤。关口是该方法的一个步骤,绝不是 Nexus 的批准。

05在系统性风险工作中

数据处理流程本身就是证据的一部分。

Every transformation between a source and a published figure (cleaning, joining, imputing, aggregating) is a place where errors and assumptions enter. In cross-system analysis pipelines are long and shared, so provenance records are what make a figure traceable and a correction possible.

  • 在每次转换时记录来源追溯信息。
  • 在输出中明示插补。
  • 对数据集进行版本管理,以便重新生成数字。
  • 在 登记册 与 报告.
07管理责任

谁维护本页面。

Data and Compute stewards data engineering, interoperability and stewardship: it keeps this description current and reviews how the method is applied across the platforms.

08来源

Where this page’s references lead.

阅读本页时所对照的机构和文件。状态和版本会变化;每个链接都指向发布机构。

09问题

问题与解答。

为什么由一个机构托管所有方法页面?
GCRI 托管 STEM Commons,使每种方法都有唯一的规范描述。各平台链接到该描述而不重复,从而保持定义一致。
如何对方法页面提出更正建议?
发送至 诚信关切表单 。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI
全球风险与创新中心(The Global Centre for Risk and Innovation)

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。