Skip to content

GCRI · Технологии

Инженерия данных, интероперабельность и управление данными

Data engineering, interoperability and stewardship cover the pipelines, standards and governance that make data usable and trustworthy. They determine whether information from different sectors can be combined for joint risk assessment. Data and Compute stewards this page for the Nexus Consortium.

02Метод

What data engineering, interoperability and stewardship covers.

  1. 01

    Основные методы

    data pipeline design; schema and metadata standards; data quality assessment; provenance tracking; master data management; access control and licensing.

  2. 02

    Данные и приборы

    data catalogues; application programming interfaces; metadata registries; data lakes and warehouses; open data portals.

  3. 03

    Валидация

    Конвейеры проверяются автоматизированным контролем качества, валидацией схем и аудитом происхождения данных. Сверка с исходными системы подтверждает полноту.

  4. 04

    Ограничения

    Несовместимые стандарты, отсутствие метаданных и ограничительные лицензии препятствуют интеграции. Унаследованные системы и недокументированные преобразования вносят скрытые ошибки.

  5. 05

    Использование в решениях о рисках

    Sound data engineering allows hazard, exposure and financial data to be linked consistently. It supports transparent and repeatable analysis of interconnected risk.

03Эталонная практика

Data engineering follows stewardship, provenance and catalogue standards.

СправкаЧто устанавливает
Принципы FAIRДанные, отвечающие принципам findable, accessible, interoperable, reusable (находимость, доступность, совместимость, пригодность для повторного использования)
W3C PROVProvenance model
W3C DCATData catalogue vocabulary
GSBPMStatistical production process model
04Процесс

Как устроен процесс.

Process explorer · Process

Data engineering, interoperability and stewardship: Catastrophe model pipeline

10 steps5 stages

Процесс

Data engineering, interoperability and stewardship: Catastrophe model pipeline

Модели катастроф обычно включают модули опасности, уязвимости, подверженности и финансовый модуль и выдают таблицы убытков, средние годовые потери, кривые превышения, PML и TVaR.

  1. 01 Опасность

    1. 01Каталог событийНабор данных · Разработчик моделиМодуль опасности содержит большой каталог смоделированных событий, представляющий широкий спектр правдоподобных сценариев.
    2. 03Модуль опасностиМодель · Разработчик моделиДля каждого события модуль опасности даёт локальную интенсивность опасности , которую считывает модуль уязвимости.
  2. 02 Подверженность и ущерб

    1. 02ПодверженностьНабор данных · Владелец программыМодуль подверженности содержит данные портфеля, например информацию о местоположении.
    2. 04Модуль уязвимостиМодель · Разработчик моделиМодуль уязвимости количественно оценивает ожидаемый ущерб от события для объектов подверженности.
  3. 03 Финансовые аспекты

    1. 05Финансовый модульМодель · Владелец программыФинансовый модуль рассчитывает убытки по всем сценариям событий. Полные, валовые и чистые убытки различаются, как показано ниже.
    2. 06Таблица убытков от событийНабор данных · Владелец программыТаблица убытков от событий перечисляет каждое событие с его годовой вероятностью наступления и убытком для портфеля.
    3. 07Таблица годовых убытковНабор данных · Владелец программыНекоторые модели также генерируют смоделированные годы на основе убытков от событий. Это описание не раскрывает их формат.
  4. 04 Метрики

    1. 08Exceedance probability curvesModel · Programme ownerThe occurrence curve gives the chance that the largest loss in a year exceeds an amount. The aggregate curve does so for the sum of losses.
    2. 09AAL, PML и TVaRМодель · Владелец программыСреднегодовой убыток складывается из произведений вероятности события на убыток. PML представляет собой одну точку на кривой наступления.
  5. 05 Использование результатов

    1. 10Use of resultsDecision · Programme ownerThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

Описание внешнего стандарта или метода по его публичным источникам. Оно описывает, что говорит рамочная основа, а не запись о каком-либо прогоне. Оно не показывает, что Nexus или какой-либо партнёр выполняет, сертифицирует или утверждает какой-либо шаг. Этап является шагом метода и никогда не является утверждением Nexus.

05В работе по системным рискам

Конвейер обработки данных является частью доказательной базы.

Every transformation between a source and a published figure (cleaning, joining, imputing, aggregating) is a place where errors and assumptions enter. In cross-system analysis pipelines are long and shared, so provenance records are what make a figure traceable and a correction possible.

  • Record provenance at each transformation.
  • Make imputation visible in outputs.
  • Version datasets so a figure can be regenerated.
  • Заявки на Реестр и Отчёты.
07Ведение и сопровождение

Кто ведёт эту страницу.

Data and Compute stewards data engineering, interoperability and stewardship: it keeps this description current and reviews how the method is applied across the platforms.

08Источники

Where this page’s references lead.

Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.

09Вопросы

Вопросы и ответы.

Почему одно учреждение размещает все страницы методов?
GCRI размещает STEM Commons, чтобы у каждого метода было одно каноническое описание. Платформы ссылаются на него, а не повторяют его, что обеспечивает согласованность определений.
Как предложить исправление к странице метода?
Пишите форму сообщения о проблемах добросовестности , указав фрагмент и причину.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

GCRI
Global Centre for Risk and Innovation

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.