GCRI · Технологии
Инженерия данных, интероперабельность и управление данными
Data engineering, interoperability and stewardship cover the pipelines, standards and governance that make data usable and trustworthy. They determine whether information from different sectors can be combined for joint risk assessment. Data and Compute stewards this page for the Nexus Consortium.
Data engineering, interoperability and stewardship on the record.
- 01УчреждениеГлобальный центр по рискам и инновациям (The Global Centre for Risk and Innovation, GCRI)
- 02The methodWhat data engineering, interoperability and stewardship covers
- 03Reference practiceData engineering follows stewardship, provenance and catalogue standards
- 04In systemic risk workThe pipeline is part of the evidence
- 05Применяется вПлатформы, применяющие этот метод
- 06Ведение и сопровождениеКто ведёт эту страницу
- 07SourcesWhere this page’s references lead
What data engineering, interoperability and stewardship covers.
- 01
Основные методы
data pipeline design; schema and metadata standards; data quality assessment; provenance tracking; master data management; access control and licensing.
- 02
Данные и приборы
data catalogues; application programming interfaces; metadata registries; data lakes and warehouses; open data portals.
- 03
Валидация
Конвейеры проверяются автоматизированным контролем качества, валидацией схем и аудитом происхождения данных. Сверка с исходными системы подтверждает полноту.
- 04
Ограничения
Несовместимые стандарты, отсутствие метаданных и ограничительные лицензии препятствуют интеграции. Унаследованные системы и недокументированные преобразования вносят скрытые ошибки.
- 05
Использование в решениях о рисках
Sound data engineering allows hazard, exposure and financial data to be linked consistently. It supports transparent and repeatable analysis of interconnected risk.
Data engineering follows stewardship, provenance and catalogue standards.
| Справка | Что устанавливает |
|---|---|
| Принципы FAIR | Данные, отвечающие принципам findable, accessible, interoperable, reusable (находимость, доступность, совместимость, пригодность для повторного использования) |
| W3C PROV | Provenance model |
| W3C DCAT | Data catalogue vocabulary |
| GSBPM | Statistical production process model |
Как устроен процесс.
Process explorer · Process
Data engineering, interoperability and stewardship: Catastrophe model pipeline
10 steps·5 stages
Процесс
Data engineering, interoperability and stewardship: Catastrophe model pipeline
Модели катастроф обычно включают модули опасности, уязвимости, подверженности и финансовый модуль и выдают таблицы убытков, средние годовые потери, кривые превышения, PML и TVaR.
01 Опасность
- 01Каталог событийНабор данных · Разработчик моделиМодуль опасности содержит большой каталог смоделированных событий, представляющий широкий спектр правдоподобных сценариев.
- 03Модуль опасностиМодель · Разработчик моделиДля каждого события модуль опасности даёт локальную интенсивность опасности , которую считывает модуль уязвимости.
02 Подверженность и ущерб
- 02ПодверженностьНабор данных · Владелец программыМодуль подверженности содержит данные портфеля, например информацию о местоположении.
- 04Модуль уязвимостиМодель · Разработчик моделиМодуль уязвимости количественно оценивает ожидаемый ущерб от события для объектов подверженности.
03 Финансовые аспекты
- 05Финансовый модульМодель · Владелец программыФинансовый модуль рассчитывает убытки по всем сценариям событий. Полные, валовые и чистые убытки различаются, как показано ниже.
- 06Таблица убытков от событийНабор данных · Владелец программыТаблица убытков от событий перечисляет каждое событие с его годовой вероятностью наступления и убытком для портфеля.
- 07Таблица годовых убытковНабор данных · Владелец программыНекоторые модели также генерируют смоделированные годы на основе убытков от событий. Это описание не раскрывает их формат.
04 Метрики
- 08Exceedance probability curvesModel · Programme ownerThe occurrence curve gives the chance that the largest loss in a year exceeds an amount. The aggregate curve does so for the sum of losses.
- 09AAL, PML и TVaRМодель · Владелец программыСреднегодовой убыток складывается из произведений вероятности события на убыток. PML представляет собой одну точку на кривой наступления.
05 Использование результатов
- 10Use of resultsDecision · Programme ownerThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
Описание внешнего стандарта или метода по его публичным источникам. Оно описывает, что говорит рамочная основа, а не запись о каком-либо прогоне. Оно не показывает, что Nexus или какой-либо партнёр выполняет, сертифицирует или утверждает какой-либо шаг. Этап является шагом метода и никогда не является утверждением Nexus.
Конвейер обработки данных является частью доказательной базы.
Every transformation between a source and a published figure (cleaning, joining, imputing, aggregating) is a place where errors and assumptions enter. In cross-system analysis pipelines are long and shared, so provenance records are what make a figure traceable and a correction possible.
Платформы, применяющие этот метод.
Кто ведёт эту страницу.
Data and Compute stewards data engineering, interoperability and stewardship: it keeps this description current and reviews how the method is applied across the platforms.
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
Вопросы и ответы.
Почему одно учреждение размещает все страницы методов?
Как предложить исправление к странице метода?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.