LLM 지향 정보 검색: 노이즈 제거를 최우선으로 한 관점

현대적인 정보 검색 (IR) 은 이제 인간에 의해 소비되는 것이 아니라, 리트리벌 증강 생성 (RAG) 및 에이전트 기반 검색을 통해 대규모 언어 모델 (LLMs) 에 의해 점점 더 많이 소비되고 있습니다. 인간 사용자와 달리 LLMs 는 제한된 주의 예산으로 인해 제약받으며, 특히 노이즈에 대해 고유하게 취약합니다. 오해의 소지가 있거나 불필요한 정보는 이제 단순한 불편을 넘어, 환각과 추론 실패의 직접적인 원인이 됩니다. 이 관점 논문의 핵심은 문맥 창 (context window) 내에서 사용 가능한 증거 밀도와 검증 가능성을 노이즈 제거를 최우선으로 하는 것이 정보 접근 파이프라인 전체에 걸쳐 주요 병목 현상이 되고 있다는 것입니다. 우리는 이를 IR 의 4 단계 프레임워크를 통해 개념화합니다: 접근 불가능에서 발견 불가능, 오배열, 그리고 최종적으로 검증 불가능. 또한 우리는 인덱싱, 리트리벌, 문맥 엔지니어링, 검증, 에이전트 워크플로우에 걸친 신호 대 노이즈 최적화 기법의 파이프라인 조직화된 분류법을 제공합니다. 그리고 retrieval 에 크게 의존하는 분야인 평생 보조자 (lifelong assistant), 코딩 에이전트 (coding agent), 심층 연구 (deep research), 다중 모드 이해 (multimodal understanding) 에서 정보 노이즈 제거에 관한 연구 작업을 소개합니다.