컬럼형 스토리지: 데이터 모델링과 정규화의 관계

행 기반 데이터가 열 기반으로 변환되는 것은 데이터베이스 분야에서 생소한 개념이 아닙니다. 이는 여전히 관계형 추상화의 범주에 속합니다.

전통적인 행 기반 방식은 데이터를 한 줄로 묶어 저장하기 때문에, 새로운 행을 추가하거나 특정 행 전체를 조회하는 작업(Row Lookup)에서는 매우 빠르고 직관적입니다. 하지만 만약 데이터셋 전체에서 특정 속성(예: 색상)의 분포를 분석해야 한다면, 관련 없는 다른 모든 데이터까지 읽어야 하는 비효율성이 발생합니다.

반면, 열 기반 스토리지(Columnar Storage)는 각 속성별로 데이터를 분리하여 저장합니다. 이 구조는 특정 컬럼에 대한 통계 계산이나 집계 쿼리(Aggregation Query)를 수행할 때 엄청난 효율성을 발휘합니다. 필요한 데이터만 선택적으로 읽을 수 있기 때문입니다.

이러한 열 기반의 분리는 마치 전통적인 관계형 데이터베이스에서 데이터를 '정규화(Normalization)'하는 것과 유사한 원리를 가집니다. 넓은 테이블 하나를 여러 개의 속성별 작은 테이블로 나누고, 이를 기본 키(Primary Key)를 통해 다시 결합하여 사용하는 방식과 같습니다.

결론적으로, 컬럼형 스토리지에서 데이터를 조회하거나 한 행을 재구성하는 과정은 단순히 데이터 포맷의 문제가 아니라, 본질적으로 여러 개의 작은 테이블을 '조인(Join)'하는 연산에 해당합니다. 따라서 이 개념을 이해하는 것은 쿼리 처리 과정을 깊이 있게 파악하는 데 큰 도움이 됩니다.