소스 코드 저장소 검색을 위한 의미론적 및 품질 인식 검색 평가

요약

본 연구는 소스 코드 저장소 검색의 한계를 극복하기 위해 의미론적, 품질 인식, 하이브리드 등 네 가지 검색 모드를 결합한 프로토타입 시스템을 평가했습니다. 이 시스템은 C 코퍼스를 사용했으며, 의미론적 검색이 전반적으로 가장 강력함을 입증했습니다. 특히 LLM 기반의 명시적인 품질 메타데이터가 품질 지향적 쿼리에 유용합니다.

핵심 포인트

• 의미론적 검색은 nDCG@5에서 0.820을 달성하며 높은 성능을 보였습니다.
• 자동 라우터는 모든 테스트 쿼리에 대해 적절한 검색 모드를 선택했습니다.
• LLM 기반 품질 점수는 수동 평가와 오차 범위가 매우 작았습니다.
• 품질 메타데이터는 코드의 품질이 중요한 쿼리에 특히 효과적입니다.