단일 벡터에서의 손실: 청크 증거 집계(Chunk Evidence Aggregation)를 통한 긴 문서 검색(Long-Document

요약

긴 문서 검색 시 단일 벡터 인코딩으로 인해 결정적인 정보가 희석되는 문제를 해결하기 위해 DICE(Document Inference via Chunk Evidence)를 제안합니다. DICE는 문서를 청크 단위로 인코딩한 후 이를 집계하는 training-free 전략으로, 긴 문맥에서도 높은 검색 성능을 유지합니다.

핵심 포인트

• 단일 벡터 인코딩 시 발생하는 정보 희석 문제를 EDI 지표로 정의
• 훈련이 필요 없는 DICE 전략을 통해 청크 수준의 증거를 효과적으로 집계
• 4k 토큰 이상의 긴 문서 환경에서 검색 성능의 비약적 향상 입증
• LongEmbed 벤치마크의 다양한 백본 모델에서 성능 개선 확인