LLM 지향 정보 검색: 노이즈 제거를 최우선으로 한 관점

요약

본 논문은 LLM 기반의 정보 검색(IR) 환경에서 '노이즈 제거'가 핵심 병목 현상임을 강조한다. LLMs는 인간과 달리 주의 예산 제약으로 인해 노이즈에 취약하며, 이는 환각 및 추론 실패를 유발할 수 있다. 따라서 본 논문은 접근 불가능성부터 검증 불가능성에 이르는 4단계 프레임워크를 제시하고, 인덱싱, 리트리벌, 문맥 엔지니어링 등 정보 파이프라인 전반에 걸친 노이즈 최적화 기법을 체계적으로 분류한다.

핵심 포인트

• LLM 기반 검색(RAG/Agent)에서 '노이즈 제거'는 단순한 개선 사항이 아닌, 환각 및 추론 실패를 막기 위한 필수적인 병목 현상이다.
• 정보 접근 파이프라인은 '접근 불가능 $ ightarrow$ 발견 불가능 $ ightarrow$ 오배열 $ ightarrow$ 검증 불가능'의 4단계 프레임워크로 개념화된다.
• 노이즈 최적화 기법을 인덱싱, 리트리벌, 문맥 엔지니어링, 검증 등 파이프라인 단계별로 체계적으로 분류하고 제시한다.
• 평생 보조자, 코딩 에이전트, 심층 연구 등 LLM 활용 분야 전반에 걸쳐 노이즈 제거의 중요성을 강조하며 관련 연구 작업을 소개한다.