Indataplatform labbyInhyeok Kim·Dec 16, 2024[Arrow/Datafusion] 성능 평가 (Spark)Datafusion 은 Arrow 를 이용하여 Rust 기반으로 개발 중인 임베딩 SQL 엔진이다. 그래서 Scala 기반으로 개발되어 JVM 위에서 동작하는 Spark 에 비해 아래와 같은 장점을 가진다.
Indataplatform labbyInhyeok Kim·Nov 25, 2024[Arrow/Datafusion] 동작 과정 분석 (Join)대부분의 SQL 엔진에서 성능 향상을 위해 가장 많이 신경쓰는 부분은 바로 조인(Join)일 것이다. 그래서 다양한 조건의 조인을 처리하는 여러 가지 동작 방식이 존재하고, 다양한 상황을 고려하여 최선의 동작 방식을 선택하는 것이 필수이다. 오늘은…
Indataplatform labbyInhyeok Kim·Nov 12, 2024[Arrow/Datafusion] 동작 과정 분석 (Aggregation)데이터를 분석할 때 가장 많이 사용하는 기능은 집계일 것이다. 특히, 시계열 데이터를 분석할 때는 시간대별 통계를 자주 사용하기 때문에 무엇보다 집계의 성능이 중요하다. 그래서 오늘은 Datafusion 에서 이러한 집계가 어떤 과정으로…
Indataplatform labbyInhyeok Kim·Nov 5, 2024[Arrow/Datafusion] 동작 과정 분석Datafusion 은 최근 빅데이터 분야에서 널리 사용되고 있는 Arrow 를 이용하여 Rust 기반으로 개발 중인 임베딩 SQL 엔진이다. 이미 다양한 분야에서 활용되고 있는 DuckDB 와 유사한 목적을 가지고 있지만, Rust 로 개발 중이기…
IningklebyInhyeok Kim·May 22, 2024SQL 기반 실시간 빅데이터 스트리밍 (Arros)Arros (Arrow Streaming) 는 SQL 을 이용하여 실시간으로 빅데이터를 처리하는 기능을 제공하는, 최근 빅데이터 분야에서 널리 사용되고 있는 Arrow 를 이용하여 Rust 기반으로 개발 중인 스트리밍 엔진이다. 이는 기존의…
Indataplatform labbyInhyeok Kim·May 29, 2023[K8S/Istio] AmbientMesh Cilium 문제 분석오늘은 Istio 에서 공개한 AmbientMesh 와 Cilium 을 함께 사용할 수 없는 문제에 대해 소개하고자 한다. Cilium 뿐 아니라 다양한 CNI 와 유사한 문제가 있는 것으로 알려져 있기 때문에, AmbientMesh 를 사용하길…
Indataplatform labbyInhyeok Kim·May 21, 2023[K8S/Istio] AmbientMesh RPFilter 문제 분석오늘은 Istio 에서 공개한 AmbientMesh 를 처음 설치할 때 겪었던 문제에 대해 소개하고자 한다. 주로 사용하는 Cilium 은 아직 지원되지 않기 때문에 Calico(+IPTables)를 CNI 로 사용하였다.
Indataplatform labbyInhyeok Kim·May 16, 2023[K8S/Istio] AmbientMesh 동작 과정 분석오늘은 Istio 에서 공개한 AmbientMesh 의 동작 과정을 분석해보도록 하겠다. 성능이나 확장성 면에서 우수한 eBPF 모드를 기준으로 설명할 계획이며, CNI 는 Calico(+IPTables)를 사용하였다.
Indataplatform labbyInhyeok Kim·May 11, 2023[K8S/Istio] AmbientMesh 소개Istio 는 가장 유명한 서비스 메시(Service Mesh) 솔루션이고, 쿠버네티스를 사용하는 대부분의 회사들이 Istio 를 사용하고 있다. 하지만, 예전부터 Istio 가 사용하던 프록시(Envoy) 기반의 사이드카(Sidecar) 방식은…
Indataplatform labbyInhyeok Kim·Mar 8, 2023[K8S/Spark] 메모리 최적화 (Swap)대표적인 빅데이터 처리 기술인 스파크(Spark)는 중간 결과를 하둡(Hadoop)처럼 디스크에 저장하지 않고 메모리에만 저장함으로써 놀랄만한 성능 개선을 가져왔다. 하지만 그만큼 메모리 사용량이 늘어났고, 메모리 관리를 어렵게 만들었다. 이는…A response icon1A response icon1