Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
KatoANN은 Intel AMX CPU 매트릭스 엔진을 활용하여 근사 최근접 이웃(ANN) 벡터 검색 시스템입니다. 기존의 메모리 대역폭 제한 문제를 해결하기 위해 거리 스캔을 배치화하는 방식을 도입했습니다. 이를 통해 손실 스캔 속도에 근접한 정확도를 유지하면서 높은 처리량을 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기파티션 계열 근사 최근접 이웃(ANN) 검색에서 거리 스캔은 일반적으로 메모리 대역폭에 의해 제한됩니다. 따라서 기존 시스템들은 후보군당 더 적은 바이트를 읽어 처리량을 개선하지만, 종종 재현율(recall)을 희생합니다. 우리는 Intel AMX라는 CPU 매트릭스 엔진에서 거리 스캔을 배치화하는 CPU ANN 검색 시스템인 KatoANN을 제시합니다. 배치는 여러 쿼리가 가져온 각 벡터 코드를 재사용할 수 있게 하여, 스캔을 메모리 바운드(memory-bound)에서 컴퓨트 바운드(compute-bound)로 전환시키고 손실 스캔 속도로 근접한 정확도의 거리를 가능하게 합니다. KatoANN은 각 벡터를 16비트 SQ16 코드로 한 번 저장하며, 이는 고바이트 평면과 저바이트 평면으로 분할됩니다. 이 시스템의 적응형 순위 지정 후 정제(adaptive rank-then-refine) 스캔은 먼저 고바이트만을 사용하여 모든 후보군의 순위를 매긴 다음, 전체 바이트 코드를 사용하여 작은 생존자 세트를 정제합니다. 두 단계 모두 동일한 표현을 사용하므로 원본 벡터의 두 번째 복사를 방지합니다. 다양한 고차원 워크로드를 가로질러 수행된 실험들은 KatoANN이 평가 범위 전반에 걸쳐 높은 재현율 영역에서 가장 빠른 파티션 계열 ANN 검색 시스템임을 보여줍니다.