검색 증강 생성 (RAG)에서의 청킹 방법론 - 계산 비용 및 한계점에 대한 효과성 평가

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 대규모 언어 모델 (Large Language Models, LLMs)의 성능을 향상시키는 데 있어 상당한 역량을 입증해 왔습니다. RAG 시스템의 핵심 과제 중 하나는 청킹 (chunking) 프로세스입니다. 전통적으로는 고정 크기 청킹 (fixed-size chunking)과 의미론적 청킹 (semantic chunking)이 표준적인 접근 방식이었습니다. 그러나 청킹 전략에 대한 관심이 높아지면서, 이러한 기존 기술보다 향상된 성능을 주장하는 제안 방법론들이 점점 늘어나고 있습니다. 이러한 접근 방식 중 다수는 특정 사용 사례와 데이터 유형에 맞춰져 있으며, 다양한 시나리오 전반에 걸친 효과성에 대한 증거는 제한적입니다. 결과적으로, 서로 다른 기술들을 직접 비교하고 상대적인 강점을 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 저희가 알고 있는 바로는, 본 연구는 광범위한 청킹 방법론의 효과성을 체계적으로 평가하고 RAG 시스템 내 청킹 전략의 근본적인 과제들을 강조하는 첫 번째 연구입니다. 청킹은 흔히 단순한 전처리 단계로 취급되지만, 저희는 이것이 영향력이 크면서도 종종 간과되는 다양한 문제들을 야기한다는 것을 보여줍니다.