소스 코드 저장소 검색을 위한 의미론적 및 품질 인식 검색 평가
요약
본 연구는 소스 코드 저장소 검색의 한계를 극복하기 위해 의미론적, 품질 인식, 하이브리드 등 네 가지 검색 모드를 결합한 프로토타입 시스템을 평가했습니다. 이 시스템은 C 코퍼스를 사용했으며, 의미론적 검색이 전반적으로 가장 강력함을 입증했습니다. 특히 LLM 기반의 명시적인 품질 메타데이터가 품질 지향적 쿼리에 유용합니다.
핵심 포인트
- 의미론적 검색은 nDCG@5에서 0.820을 달성하며 높은 성능을 보였습니다.
- 자동 라우터는 모든 테스트 쿼리에 대해 적절한 검색 모드를 선택했습니다.
- LLM 기반 품질 점수는 수동 평가와 오차 범위가 매우 작았습니다.
- 품질 메타데이터는 코드의 품질이 중요한 쿼리에 특히 효과적입니다.
키워드 기반 검색은 쿼리가 자연어로 표현되거나 정확한 토큰보다는 구현 의도 및 코드 품질에 관한 경우 소스 코드 저장소에서 제한적입니다. 본 연구는 함수 수준 분할(function-level fragmentation), 텍스트 및 코드 임베딩, ChromaDB 벡터 스토리지, LLM 기반 품질 메타데이터, 그리고 의미론적(semantic), 품질 필터링(quality-filtered), 하이브리드(hybrid), 자동 라우팅(automatic routing)의 네 가지 검색 모드를 결합한 프로토타입 검색 시스템을 평가합니다. 구체적인 평가는 교육용 C 코드 코퍼스를 사용했습니다. 전체 코퍼스는 563개의 익명화된 프로그래머 식별자와 8,951개의 C 파일로 구성되어 있으며, 재현 가능한 10% 인덱싱 샘플은 56명의 프로그래머 식별자, 847개 파일, 그리고 3,839개의 분할(fragment)을 포함합니다. 수동으로 평가된 15개의 쿼리 전반에 걸쳐 의미론적 검색은 nDCG@5에서 0.820, Success@5에서 0.800, MRR에서 0.644를 달성했습니다. 자동 라우터는 15개 쿼리 모두에 대해 예상되는 모드를 선택했습니다. 소규모 수동 감사 결과, LLM 기반 품질 점수는 12개 분할 중 9개에서 수동 평가와 1점 이내의 오차를 보였습니다. 보고된 쿼리 세트 내에서 의미론적 검색이 전반적으로 가장 강력한 모드였으며, 명시적인 품질 메타데이터는 특히 품질 지향적인 쿼리에 가장 유용했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기