Kafka·Spark·Airflow 데이터 파이프라인 실전 구축부터 서빙까지ㅣ+Paimon·Iceberg

#데이터엔지니어링 #kafka #spark 🚀메타코드 부트캠프 수강생이 구축한 데이터 파이프라인 프로젝트 발표영상입니다 Kafka, Spark, Airflow 등 핵심 기술을 녹여낸 데이터엔지니어 포트폴리오, 그 설계 전략과 기술적 챌린지를 지금 확인해 보세요! ✅퇴사 없이, (전액 환급받고) 데이터엔지니어 도전 가능할까? 👉 7월 31일 시작반 자세히 살펴보기 (링크 클릭!) https://metacodev.com/edu/item/6bfqaa... 🔥 회사 다니면서 커리어 확장/전환 가능합니다! ✔ 진짜 실무 커리큘럼인가? ✔ 환급은 현실적으로 가능한가? ✔ 직장인 병행이 가능한가? ⏰목차 00:00:00 프로젝트 개요 및 목차 소개 00:02:27 Airflow 오케스트레이션 & Paimon·Iceberg 개요 00:04:53 오더 커런트·오더 이벤트 테이블 설계 00:07:20 브론즈(L0) 적재 규칙 설계 00:09:47 워터마크 설계 00:12:14 DLQ 1·2차 분기 설계 00:14:40 파이프라인 정합성 검증 & BI 집계 00:17:07 PyFlink Job 구현 00:19:34 파이프라인 실행 결과 확인 00:22:00 장애 복구 데모 및 마무리