LLM 기반 콜드 스타트 추천 시스템에서의 검색 병목 현상 진단 및 완화

대규모 언어 모델 (LLMs)은 의미론적 이해가 콜드 스타트 (cold-start) 및 롱테일 (long-tail) 영역에서 도움이 될 것이라는 기대와 함께 추천 시스템의 재순위화 도구 (rerankers)로 점점 더 많이 사용되고 있습니다. 우리는 재순위화 품질 (reranking quality)을 검색 커버리지 (retrieval coverage)와 명시적으로 분리하는 5개 도메인 벤치마크를 통해 이 가설을 테스트합니다. 정답 아이템 (gold item)의 존재가 보장되는 양의 제어 (positive-controlled) 환경에서, 보정된 LLM 재순위화 도구들은 자연스러운 트래픽 하에서 강력한 협업 필터링 (collaborative) 및 콘텐츠 기반 (content) 베이스라인들을 일관되게 능가하지 못했으며, Qwen3-8B에서 Qwen3-32B로의 패밀리 내 스케일링 (scaling)은 대부분의 도메인에서 격차를 좁히기는 하지만 완전히 해소하지는 못했습니다. 정답 아이템이 주입되지 않는 검색 현실적 (retrieval-realistic) 환경에서는 병목 현상이 더 심각합니다. 표준 단일 검색기 (single retrievers)가 정답 아이템을 200개 아이템 풀에 포함시키는 비율은 단 4.622.9%에 불과하며, 이는 주로 콜드 스타트 타겟의 3291%가 학습 상호작용이 없는 완전히 새로운 아이템이기 때문입니다. 우리는 검색 측면의 실현 가능성 베이스라인으로서, 다중 검색기 합집합 풀 (multi-retriever union pool) 상의 검증 학습된 학습형 하이브리드 융합 계층 (LHF, learned hybrid fusion layer)을 도입합니다. LHF는 우리가 테스트한 결합기 (combiner) 중 유일하게 5개 도메인 모두에서 모든 단일 검색기를 능가하며, 콘텐츠가 풍부한 도메인에서는 오라클 커버리지 (oracle coverage) 여유분의 1761%를 회복하지만, 협업 필터링이 강력한 도메인에서는 57%만을 회복합니다. 엔드 투 엔드 (End-to-end) 실험은 남아있는 불일치를 드러냅니다. 즉, 학습된 비-LLM 순위 지정 (non-LLM ranking)은 LHF 풀을 활용하는 반면, 프롬프트 수준의 LLM 재순위화는 종종 이를 저하시킵니다. LLM은 특히 아이템이 이미 존재하는 텍스트 풍부 도메인에서 부분적인 의미론적 콜드 스타트 이점을 보여주지만, 이러한 이점은 현재의 검색 후 재순위화 (retrieve-then-rerank) 파이프라인에서는 대부분 도달하기 어렵습니다. 우리는 벤치마크 프로토콜, 분할 데이터, 프롬프트, 평가 도구 및 아카이브된 재현성 산출물을 공개합니다: 데이터는 https://doi.org/10.5281/zenodo.20991039 에서, 코드는 https://doi.org/10.5281/zenodo.20993306 에서 확인할 수 있습니다.