정보 검색은 결합 (conjunction), 배타 (exclusion) 등을 사용하여 집합 구성적 (set-compositional) 쿼리를 포함할 수 있으나, 현재 검색 패러다임이 이러한 제약을 실제로 충족하는지, 아니면 '의미 단축 (semantic shortcuts)'을 이용하는지에 대한 명확한 증거는 아직 부족하다. 우리는 QUEST 와 QUEST+Variants 벤치마크에서 주요 검색 계열과 추론 지향적 방법들을 재현성 연구로 평가하고, 임의 속성 전제와 제약을 만족하는 관련성보다 사전 학습 지식에 덜 의존하는 LIMIT+라는 통제된 벤치마크를 소개한다.

우리의 연구 결과는 다음과 같다:
(i) QUEST 에서 가장 성능 좋은 신경망 검색기는 BM25 가 달성할 수 있는 효과 (Recall@100 > 0.41 vs. 0.20) 의 두 배 이상을 달성하지만, 추론 지향적 방법인 ReasonIR 과 Search-R1 은 일반 목적 검색기를 균일하게 능가하지 못한다.
(ii) LIMIT+ 에서 이득은 이전으로 옮겨지지 않으며, 가장 강력한 QUEST 방법은 Recall@100 약 0.42 에서 0.02 미만으로 붕괴하지만, 고전적인 단어 기반 검색은 약 0.96 까지 상승한다.
(iii) 구성적 깊이에 따라 분류하면 모든 방법에서 일관된 성능 저하가 발생하며, 대수적 희소 (algebraic sparse) 과 단어 기반 방법은 더 안정된 성능을 보인 반면, 밀도 기반 접근법은 붕괴한다.

우리는 향후 재현성과 통제된 평가를 지원하기 위해 코드와 LIMIT+ 데이터 생성 스크립트를 공개한다.