Dask 기반 대규모 데이터 병렬 처리를 통한 제품 양자화 및 역 인덱싱 최적화

요약

본 논문은 대규모 근접 이웃 검색(Nearest Neighbor, NN)의 계산 복잡성 문제를 해결하기 위해 제품 양자화(Product Quantization, PQ)와 역 인덱싱(Inverted Indexing)을 결합하는 방법을 제시합니다. 특히 Python 환경에서 Dask 라이브러리를 활용하여 데이터 분할 및 병렬 처리를 수행함으로써, 대규모 고차원 데이터 클러스터링의 메모리 비용과 실행 시간을 획기적으로 줄였습니다. 이 접근 방식은 정확도를 유지하면서도 중규모 데이터 처리 수준으로 계산 요구 사항을 낮춰, 실제 산업 환경에

핵심 포인트

• Dask를 활용하여 제품 양자화(PQ) 및 역 인덱싱(Inverted Indexing) 과정을 대규모로 병렬 처리할 수 있습니다.
• 본 연구는 고차원 데이터를 클러스터링하는 과정에서 발생하는 막대한 메모리 비용과 실행 시간을 절감합니다.
• 정확도를 손상시키지 않으면서 계산 요구 사항을 중규모 데이터 수준으로 낮추어 효율성을 극대화했습니다.