⚡Apache Spark 처음이라면 이 영상 하나로 끝! | 핵심 개념부터 성능 최적화까지 3시간 총정리!

#apachespark #sparktutorial #데이터엔지니어링 #dataengineering 안녕하세요 현수입니다! 👋 이번 영상은 기존에 업로드했던 Spark 관련 영상들을 하나의 흐름으로 재구성하고, 필요한 내용은 새롭게 보완해 Apache Spark를 처음 접하는 분들도 기초부터 고급 특성까지 단계적으로 이해할 수 있도록 하는 총정리 영상입니다! ✅ SparkSession은 왜 필요한지, ✅ Transformation과 Action은 어떻게 동작하는지, ✅ 데이터는 파티션 단위로 어떻게 처리되는지 ✅ Shuffle이 발생하는 이유 ✅ Repartition·Coalesce의 차이 ✅ 읽기·쓰기 모드 ✅ Join의 종류와 특성 ✅ Predicate Pushdown ✅ Adaptive Query Execution(AQE) ✅ Salting 방식에 대한 이해 이런 주제들을 다룸으로써 단순히 pyspark 코드 쓰는 방법이 아닌, Spark가 가진 고급 특성들을 면밀히 살펴볼 수 있도록 구성되어있습니다. 이 영상 하나로 Apache Spark의 전체적인 동작 원리를 잡고, 이후 데이터 엔지니어링과 성능 튜닝을 학습하기 위한 기반을 만들어 보세요. 📚 👉 통합 실습 자료 : https://drive.google.com/drive/folder... --- 00:00 Apache Spark의 기초 이론 28:55 Spark Session이 필요한 이유 35:32 Lazy Evaluation(지연실행)에 대하여 51:02 Spark Partition의 정의 및 다루는 방법 01:08:39 Spark Shuffle 01:21:58 Repartition vs Coalesce 01:34:53 Spark 읽기/쓰기 모드 비교 01:48:17 Spark Join의 종류 및 특성 02:04:08 Predicate Pushdown 02:16:32 Adaptive Query Execution 02:31:26 Spark Salting 이해하기