Skip to content

GCRI · Teknologi

Rekayasa data, interoperabilitas, dan pengelolaan data

Data engineering, interoperability and stewardship cover the pipelines, standards and governance that make data usable and trustworthy. They determine whether information from different sectors can be combined for joint risk assessment. Data and Compute stewards this page for the Nexus Consortium.

02Metode

What data engineering, interoperability and stewardship covers.

  1. 01

    Metode inti

    data pipeline design; schema and metadata standards; data quality assessment; provenance tracking; master data management; access control and licensing.

  2. 02

    Data dan instrumen

    data catalogues; application programming interfaces; metadata registries; data lakes and warehouses; open data portals.

  3. 03

    Validasi

    Pipeline diuji dengan pemeriksaan kualitas otomatis, validasi skema, dan audit silsilah data. Rekonsiliasi terhadap sistem sumber memastikan kelengkapan.

  4. 04

    Batasan

    Standar yang tidak kompatibel, metadata yang hilang, dan lisensi yang restriktif menghambat integrasi. Sistem lama dan transformasi yang tidak terdokumentasi menimbulkan kesalahan tersembunyi.

  5. 05

    Penggunaan dalam keputusan risiko

    Rekayasa data yang andal memungkinkan data bahaya, keterpaparan, dan keuangan dihubungkan secara konsisten. Hal ini mendukung analisis risiko yang saling terkait secara transparan dan dapat diulang.

03Praktik acuan

Data engineering follows stewardship, provenance and catalogue standards.

RujukanApa yang ditetapkan
Prinsip FAIRFindable, accessible, interoperable, reusable data
W3C PROVModel asal-usul data (provenance)
W3C DCATData catalogue vocabulary
GSBPMStatistical production process model
04Proses

Bagaimana proses berjalan.

Process explorer · Process

Data engineering, interoperability and stewardship: Catastrophe model pipeline

10 steps5 stages

Proses

Data engineering, interoperability and stewardship: Catastrophe model pipeline

Model katastrofe biasanya memiliki modul bahaya, kerentanan, keterpaparan, dan keuangan, serta menghasilkan tabel kerugian, rata-rata kerugian tahunan, kurva terlampaui, PML, dan TVaR.

  1. 01 Bahaya

    1. 01Katalog peristiwaSet data · Pengembang modelModul bahaya memuat katalog besar kejadian simulasi yang mewakili beragam skenario yang masuk akal.
    2. 03Modul bahayaModel · Pengembang modelUntuk setiap kejadian, modul bahaya memberikan intensitas bahaya lokal yang dibaca modul kerentanan.
  2. 02 Keterpaparan dan kerusakan

    1. 02EksposurSet data · Pemilik programModul keterpaparan memuat data portofolio, seperti informasi spesifik lokasi.
    2. 04Modul kerentananModel · Pengembang modelModul kerentanan mengukur kerusakan yang diharapkan pada objek terpapar akibat suatu kejadian.
  3. 03 Keuangan

    1. 05Modul keuanganModel · Pemilik programModul keuangan menghitung kerugian dari semua skenario kejadian. Kerugian dasar (ground-up), bruto, dan neto berbeda sebagaimana ditunjukkan di bawah.
    2. 06Tabel kerugian kejadianSet data · Pemilik programTabel kerugian kejadian mencantumkan setiap kejadian dengan probabilitas terjadinya per tahun dan kerugiannya bagi portofolio.
    3. 07Tabel kerugian tahunanSet data · Pemilik programSebagian model juga mengambil sampel tahun simulasi dari kerugian kejadian. Garis besar ini tidak menjelaskan formatnya.
  4. 04 Metrik

    1. 08Exceedance probability curvesModel · Programme ownerThe occurrence curve gives the chance that the largest loss in a year exceeds an amount. The aggregate curve does so for the sum of losses.
    2. 09AAL, PML, dan TVaRModel · Pemilik programKerugian tahunan rata-rata menjumlahkan probabilitas kejadian dikalikan kerugian. PML adalah satu titik pada kurva kejadian.
  5. 05 Penggunaan hasil

    1. 10Use of resultsDecision · Programme ownerThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.

Garis besar suatu standar atau metode eksternal, dari sumber publiknya. Garis besar ini menjelaskan apa yang dinyatakan kerangka itu, bukan catatan pelaksanaan apa pun. Garis besar ini tidak menunjukkan bahwa Nexus atau mitra mana pun melaksanakan, menyertifikasi, atau menyetujui suatu langkah. Gerbang adalah langkah dalam metode, tidak pernah persetujuan Nexus.

05Dalam kerja risiko sistemik

Alur kerja (pipeline) merupakan bagian dari bukti.

Setiap transformasi antara sumber dan angka yang diterbitkan (pembersihan, penggabungan, imputasi, agregasi) adalah titik masuknya kesalahan dan asumsi. Dalam analisis lintas sistem, alur pengolahan panjang dan digunakan bersama, sehingga catatan asal-usul membuat angka dapat ditelusuri dan koreksi dapat dilakukan.

  • Catat asal-usul (provenans) data pada setiap transformasi.
  • Buat imputasi terlihat dalam keluaran.
  • Version datasets so a figure can be regenerated.
  • Aplikasi pada Registri , dan Laporan.
07Pengelolaan

Siapa yang memelihara halaman ini.

Data and Compute stewards data engineering, interoperability and stewardship: it keeps this description current and reviews how the method is applied across the platforms.

08Sumber

Where this page’s references lead.

Badan dan dokumen yang menjadi acuan halaman ini. Status dan edisi berubah; setiap tautan menuju badan penerbitnya.

09Pertanyaan

Tanya jawab.

Mengapa satu lembaga menyelenggarakan setiap halaman metode?
GCRI menyelenggarakan STEM Commons agar setiap metode memiliki satu deskripsi kanonis. Platform menautkannya alih-alih mengulanginya, sehingga definisi tetap konsisten.
Bagaimana cara saya mengusulkan koreksi pada halaman metode?
Tulis ke formulir kekhawatiran integritas dengan menyertakan kutipan dan alasannya.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

GCRI
Global Centre for Risk and Innovation

Bawa metode, dataset, atau pertanyaan.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.