SPECTRA: 관련성 오라클(Relevance Oracles) 및 제어된 방해 요소 진단(Controlled Distractor

확장 가능한 정보 검색 (Information Retrieval, IR) 테스트를 위해서는 인덱스 구축 (Index Construction), 랭킹 지연 시간 (Ranking Latency), 쿼리 라우팅 (Query Routing) 및 평가 도구 (Evaluation Tooling)를 압박할 수 있을 만큼 충분히 큰 코퍼스 (Corpora)가 필요하지만, 사람이 판단한 테스트 컬렉션은 비용이 많이 들며 문서가 비공개 상태이거나 아직 설계 중인 경우에는 사용할 수 없을 수도 있습니다. 본 논문은 잠재적 주제 구조 (Latent Topical Structure), 표면 텍스트 구현 (Surface Text Realization), 메타데이터 제어 (Metadata Controls), 쿼리 의도 생성 (Query Intent Generation) 및 결정론적 관련성 오라클 (Deterministic Relevance Oracles)의 분리를 통해 합성 텍스트 코퍼스 및 검색 테스트 컬렉션을 생성하는 재현 가능한 프레임워크인 SPECTRA를 소개합니다. 이 프레임워크는 인간의 평가를 대체하기 위한 것이 아니라, Cranfield 스타일 및 TREC 스타일 평가를 보완하는 진단 도구로 의도되었습니다. 단일 프로세스 Python 프로토타입은 제어 가능한 롱테일 어휘 (Long-tail Vocabulary) 성장을 유지하면서 최대 60,000개의 문서와 961만 개의 토큰을 생성하였고, 96개의 쿼리에 대해 등급별 관련성 레이블 (Graded Relevance Labels)을 생성했습니다. 로컬 시뮬레이션 연구에서 생성 속도는 초당 약 12,000개에서 14,000개의 문서로 거의 선형적으로 유지되었고, 추정된 Zipf 기울기 (Zipf Slopes)는 절대값 기준으로 0.86 근처를 유지했으며, 주제 간 방해 텍스트 (Cross-topic Distractor Text)를 증가시킴에 따라 BM25 nDCG@10은 방해 요소가 2%일 때 1.00에서 36%일 때 0.43으로 감소했습니다. 이러한 결과는 가벼운 합성 코퍼스를 통해 비용이 많이 드는 컬렉션 구축을 시작하기 전에 검색 시스템의 확장성 및 실패 모드 (Failure Modes)를 노출할 수 있음을 보여줍니다.