PinnedSeonggil Jeong·Jun 6Apache Spark Memory Deep Dive: 브로드캐스트 변수의 배신과 OOM 해결기"브로드캐스트로 최적화했는데 왜 또 OOM이 날까?" 단순한 딕셔너리 매핑이 불러온 거대한 병목 현상. 브로드캐스트 변수가 숨기고 있던 메모리 복제의 실체와, 대규모 데이터 파이프라인을 위한 가장 확실한 조인 최적화 전략을 알아봅니다.
PinnedInLevel Up CodingbySeonggil Jeong·Aug 19, 2022FactoryPattern without if-elseUsing FactoryPattern without if-elseA response icon15A response icon15
InTowards Data EngineeringbySeonggil Jeong·Jun 8Apache Spark Memory Deep Dive: The Betrayal of Broadcast Variables and Resolving OOMStruggling with PySpark OOMs? We expose the hidden memory duplication of Broadcast Variables and explore the ultimate Hash Join strategy.
Seonggil Jeong·May 17Part2: Spark on Kubernetes 인프라 구축 및 도입 여정병목에 따른 더 효율적이고 빠른 배치 컴퓨팅 환경을 구축할 필요성도 높아졌습니다. 이 글에서는 Spark, Airflow 운영 환경을 Spark on Kubernetes 환경으로 마이그레이션하는 과정에서 겪은 경험과 이슈를 공유하겠습니다
InLevel Up CodingbySeonggil Jeong·Apr 17Great Expectations(GX): to check your data qualityNo matter how sophisticated your dashboards or how advanced your machine learning models are, the output becomes worthless if the…
Seonggil Jeong·Mar 22Part1: Airflow, Spark 기반의 Data pipeline Architecture 설계 및 개발 환경 구축최근 Apache Airflow와 Apache Spark을 활용해서 GH Archive 데이터를 활용한 프로젝트를 진행했습니다. 해당 프로젝트를 진행하면서 마주친 문제들에 대해 정리한 글 입니다.
Seonggil Jeong·Jan 7[TIL — 42일차] 데이터 엔지니어링: Hadoop, Spark (5)데이터 엔지니어링 데브코스 42일차 TIL | Apache Spark, SparkML, EMR, AWS
Seonggil Jeong·Dec 24, 2025[TIL — 41일차] 데이터 엔지니어링: Hadoop, Spark (4)데이터 엔지니어링 데브코스 41일차 TIL | Apache Spark, Spark File Format, Execution Plan, Transformation & Action, Bucketing, Partitioning
Seonggil Jeong·Dec 5, 2025[TIL — 40일차] 데이터 엔지니어링: Hadoop, Spark (3)데이터 엔지니어링 데브코스 40일차 TIL | Apache Spark, Spark SQL, Aggregation, JOIN, UDF, Hive MetaStore