정보 검색을 위한 비음수 탄성 넷 (Non-negative Elastic Net) 디코딩

밀집 검색 (Dense retrieval)은 정보 검색 (Information retrieval) 분야에서 지배적인 패러다임이 되었으며, 여기서는 각 문서의 벡터 임베딩 (Vector embedding)과 쿼리 (Query) 사이의 내적 (Inner product)을 통해 각 문서의 점수를 산출하고, 점수가 높은 상위 $k$개의 문서를 해당 쿼리에 대해 검색합니다. 그러나 각 문서의 점수는 오직 쿼리의 임베딩과 해당 문서 자체의 임베딩에만 의존하기 때문에, 검색 과정이 전체 코퍼스 (Corpus)의 내용에 대해 무관하다는 문제가 있습니다. 따라서 밀집 검색은 코퍼스에서 의미론적으로 유사한 문서들을 선택하는 것을 피할 수 없으며, 이는 검색된 문서 세트가 다양하지 않고 중복될 수 있는 결과를 초래합니다. 이를 해결하기 위해, 우리는 검색을 나머지 코퍼스의 문맥을 고려하여 문서들을 하나의 세트로 선택하는 공동 디코딩 (Joint decoding) 문제로 접근합니다. 이를 달성하기 위해, 우리는 임베딩들이 쿼리 임베딩을 희소한 비음수 선형 결합 (Sparse non-negative linear combination)으로 공동 재구성하도록 문서를 선택하는 비음수 탄성 넷 (Non-Negative elastic Net, NNN) 디코딩을 제안합니다. 우리의 주요 이론적 결과는 밀집 검색과 NNN 디코딩 사이의 엄격한 분리를 입증합니다. 어떤 코퍼스에 대해서도 밀집 검색에 의해 올바르게 처리되는 모든 쿼리는 NNN 디코딩에 의해서도 처리되는 반면, 상관관계가 있는 문서들을 포함하는 코퍼스에서는 NNN 디코딩이 밀집 검색이 처리할 수 없는 쿼리들까지 추가적으로 처리합니다. 실험 결과에 따르면, 내적 점수 산출을 위해 학습된 고정된 임베딩 (Frozen embeddings)에 NNN 디코딩을 적용했을 때 여러 벤치마크에서 일관된 성능 향상을 보였습니다. 또한, 우리는 NNN 디코딩을 위해 임베딩을 최적화하는 엔드 투 엔드 (End-to-end) 학습 절차를 도입하였으며, 이는 밀집 검색과 비교하여 모든 지표와 벤치마크에서 능가하는 상당한 성능 이득을 생성합니다. 우리의 연구는 표준적인 내적 점수 산출 관행을 넘어, 정보 검색에서 밀집 임베딩을 활용하는 새로운 패러다임을 구축합니다.