Chunk Filtering 을 통한 Retrieval-Augmented Generation 의 중복성 감소

요약

본 연구는 표준 RAG 청킹 방식에서 발생하는 과도한 중복성 문제를 해결하기 위해 다양한 '청크 필터링(Chunk Filtering)' 전략을 제안합니다. Semantic, topic-based, 그리고 named-entity-based 방법론들을 탐구하고 실험한 결과, 특히 엔티티 기반 필터링이 벡터 인덱스 크기를 25%에서 36%까지 줄이면서도 검색 품질 저하를 최소화할 수 있음을 입증했습니다. 이는 RAG 파이프라인의 효율성을 높이는 가벼우면서도 효과적인 중복성 감소 방안을 제시합니다.

핵심 포인트

• 표준 RAG 청킹은 과도한 데이터 중복성을 발생시켜 저장 비용 및 검색 속도를 저하시키는 문제가 있습니다.
• 청크 필터링 전략(Semantic, Topic-based, Entity-based)을 통해 코퍼스 크기를 줄이면서 검색 품질을 유지할 수 있습니다.
• 엔티티 기반 필터링은 벡터 인덱스 크기를 25%~36% 감소시키면서도 높은 검색 성능(Precision, Recall 등)을 유지하는 효과를 보였습니다.
• 이는 RAG 파이프라인의 검색 지향적 구성 요소의 효율성을 향상시키는 실용적인 방법을 제공합니다.