고정된 범용 토큰화 환경에서의 BM25 코드 검색 개선: 드롭인(Drop-In) BM25 수정을 위한 적응형 q-Log Odds

검색 증강 코딩 (Retrieval-augmented coding)에서, 실패는 종종 검색된 컨텍스트 (context)에 관련 파일이 누락될 때 시작됩니다. 실무자가 분석기 (analyzer)를 제어할 수 없는 검색 시스템에 의해 BM25 인덱스가 구축된 고정된 범용 토큰화 (frozen generic tokenization) 환경 하에서, 이러한 실패는 일상적입니다. BM25의 로그 기반 RSJ-odds IDF는 하나의 함수를 다른 함수와 구별하는 식별자 꼬리 (identifier tail) 부분을 충분히 분리하지 못합니다. 우리는 Robertson-Spärck-Jones odds의 외부 로그를 q-로그 (q-logarithm)로 대체합니다. q=1일 때 이 변환은 로피탈의 정리 (L'Hôpital's rule)에 의해 BM25를 정확히 복구하며, q<1일 때 이는 lambda = 1-q인 RSJ odds의 Box-Cox 변환이 됩니다. CoIR CodeSearchNet Go (182K 문서) 데이터셋에서, 오라클 튜닝된 NDCG@10은 0.2575에서 0.4874로 상승했습니다 (절대치 +0.2299; 상대치 +89.3%; 10,000회의 쌍별 부트스트랩 재표본 추출에서 부호 반전 0회, p <= 10^-4로 보고됨). 이 효과는 프로그래밍 언어 전반에 걸쳐 단계적으로 나타나며, BEIR 텍스트에서는 거의 0에 가깝습니다. 단일 파라미터 폐형 (one-parameter closed form)은 hapax 밀도를 통해 코퍼스 수준의 q를 추정하며, BM25가 이미 최적인 코퍼스에서는 q=1 근처를 유지합니다. 인덱스 생성 시간 비용은 희소 점수 행렬 (sparse score matrix)에 대한 단일 패스(pass)이며, 쿼리 지연 시간 (query latency)은 변하지 않습니다. 토크나이저 절제 연구 (tokenizer ablation)에 따르면, 식별자 인식 토큰화 (identifier-aware tokenization)는 q-IDF의 점진적인 이득을 대부분 제거합니다.