ETL, ELT, dan Batch Pipeline | Kuliah Data Engineering Pertemuan 7

Data Engineering dan Big Data (WP.55201.020) — Program Studi Teknik Informatika, Universitas Stikubank (UNISBANK) Semarang Dosen pengampu: Theresia Dwiati Wismarini, S.Kom., M.Cs. dan Heribertus Yulianton, S.Si., M.Cs. Sub-CPMK04: membangun pipeline ingestion, ETL/ELT, batch, dan pemrosesan terdistribusi Pada Pertemuan 7 ini dibahas: Konsep data pipeline dan mengapa batch menjadi tulang punggung analitik Anatomi ETL: extract, transform, load, beserta kontrak antar-tahap Pola ingestion multi-sumber dan pengaman extract saat sumber berubah paralel ETL vs ELT: dua filosofi tempat transformasi, dan peran dbt Sembilan langkah transformasi pandas: dedup berbasis kunci bisnis, validasi tanggal dan nilai, standardisasi kapitalisasi, penanganan kunci asing hantu, derivasi kolom waktu Tahap load idempoten, atomik, dan cepat: TRUNCATE+INSERT, upsert ON CONFLICT, COPY Penanganan galat bertingkat, logging, dan verifikasi pasca-load Bukti angka perbandingan ETL vs ELT dari praktikum nyata Persiapan praktikum: Docker, skrip Python, dan contoh Google Colab Sorotan hasil praktikum (angka nyata): 50.200 baris sumber menjadi 49.883 baris bersih setelah aturan T1-T9 Jalur ETL (Python) vs ELT (dbt): semua angka identik, 0 selisih dbt: 5 model dijalankan, 8 uji lulus (unique, not_null, relationships) COPY 0,46 detik vs INSERT 1,91 detik untuk 49.883 baris (4,1x lebih cepat) Uji keandalan: dua run identik (idempoten); sumber dimatikan di tengah jalan, pipeline gagal rapi dan target tetap utuh Referensi: Reis, J. & Housley, M. (2022). Fundamentals of Data Engineering. O'Reilly Media. Crickard, P. (2020). Data Engineering with Python. Packt Publishing. Pandey, B. K. (2023). Building ETL Pipelines With Python. Packt Publishing. Seri Pertemuan sebelumnya: Pertemuan 6 - Data Lake, Data Warehouse, NoSQL, dan Lakehouse:    • 06 Data Lake, Warehouse, NoSQL & Lakehouse...   Pertemuan 4 - Data Quality, Validation, Lineage, dan Observability:    • 04 Data Quality, Validation, Lineage & Obs...   #DataEngineering #ETL #ELT #BatchPipeline #dbt #pandas #KuliahUnisbank