🚀 RAG 청킹(Chunking) 이해하기: Python을 활용한 고정 크기, 중첩, 의미론적 및 문장 기반 청킹

대규모 언어 모델(LLMs)이 기업용 애플리케이션에 점점 더 통합됨에 따라, 검색 증강 생성(Retrieval-Augmented Generation, RAG)은 비공개 및 도메인 특화 데이터를 사용하여 질문에 답변하는 AI 시스템을 구축하는 가장 효과적인 방법 중 하나로 부상했습니다.

AI 챗봇, 문서 검색 시스템 또는 내부 지식 어시스턴트를 구축하든 상관없이, 응답의 품질은 종종 간과되는 한 단계인 청킹(chunking)에 크게 좌우됩니다.

청킹이 제대로 되지 않은 문서는 관련 없는 검색, 문맥 누락 및 부정확한 답변으로 이어질 수 있습니다. 반면, 잘 설계된 청킹 전략은 검색 정확도를 극적으로 향상시키고 환각(hallucinations)을 줄입니다.

이 글에서는 널리 사용되는 네 가지 청킹 기술을 살펴보고, 각각의 장점과 트레이드오프(trade-offs)를 이해하며, Python을 사용하여 이를 구현해 보겠습니다.

왜 청킹이 중요한가?

회사 정책이 포함된 300페이지 분량의 PDF가 있다고 가정해 봅시다. 컨텍스트 윈도우(context window)의 제한으로 인해 모든 질문에 대해 문서 전체를 LLM에 보내는 것은 실용적이지도 효율적이지도 않습니다.

대신, RAG 파이프라인은 다음과 같이 작동합니다:

Documents
      │
      ▼
...

검색된 청크(chunks)의 품질은 최종 응답의 품질에 직접적인 영향을 미칩니다.

1. 고정 크기 청킹 (Fixed-Size Chunking)

고정 크기 청킹은 가장 단순한 전략입니다. 문서를 고정된 수의 문자, 단어 또는 토큰(tokens)을 포함하는 청크로 나눕니다.

Python 예시

text = """
Power Automate integrates with SharePoint.
It supports approvals.
...

장점

• 구현이 쉬움
• 빠른 인덱싱 (indexing)
• 일관된 청크 크기

한계

• 문장의 중간을 자를 수 있음
• 중요한 문맥이 손실될 수 있음

가장 적합한 용도: RAG 개념 학습 및 빠른 프로토타이핑.

2. 중첩이 있는 고정 크기 청킹 (Fixed-Size Chunking with Overlap)

고정 크기 청킹 (Fixed-size chunking)의 한 가지 한계는 청크 경계에서 문맥(Context)을 잃을 수 있다는 점입니다. 이는 인접한 청크들이 콘텐츠의 일부를 공유하는 중첩 (Overlap) 방식을 도입함으로써 해결됩니다.

Python 예시

chunk_size = 50
overlap = 15

...

완전히 분리된 청크 대신, 연속된 청크들이 중첩된 콘텐츠를 포함함으로써 후속 검색 (Retrieval)을 위한 문맥을 보존합니다.

장점

• 더 나은 문맥 보존
• 향상된 검색 품질
• 가장 일반적인 프로덕션 전략

한계

• 중복된 임베딩 (Embeddings)
• 더 높은 저장 공간 요구 사항

가장 적합한 용도: 엔터프라이즈 챗봇, 문서 질의응답 (Q&A), 프로덕션 RAG 애플리케이션.

3. 의미론적 청킹 (Semantic Chunking)

크기에 따라 나누는 대신, 의미론적 청킹 (Semantic chunking)은 의미를 기반으로 텍스트를 그룹화합니다. 청크의 길이가 다르더라도 관련 있는 콘텐츠가 함께 유지됩니다.

Python 예시

from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai import OpenAIEmbeddings

...

의미론적 청킹은 임베딩 (Embeddings)을 사용하여 문서 내의 논리적 경계를 식별하며, 검색에 더 의미 있는 청크를 생성합니다.

장점

• 주제의 일관성 보존
• 높은 검색 정확도
• 무관한 문맥 감소

한계

• 높은 계산 비용
• 전처리 과정에서 임베딩 모델 (Embedding models) 필요

가장 적합한 용도: 법률 문서, 기술 매뉴얼, 정책 문서, 엔터프라이즈 지식 베이스.

4. 문장 기반 청킹 (Sentence-Based Chunking)

문자(Characters)나 토큰(Tokens) 단위로 나누는 대신, 문장 기반 청킹 (Sentence-based chunking)은 완전한 문장들을 함께 그룹화합니다.

Python 예시

import nltk

sentences = nltk.sent_tokenize(text)
...

문장의 경계가 보존되기 때문에, 결과물인 청크는 검색 시스템과 LLM 모두가 이해하기 더 쉽습니다.

장점

• 문장을 절대 끊지 않음
• 더 나은 가독성
• 단순한 구현

한계

• 청크 크기가 가변적임
• 주제 경계를 자동으로 보존하지 않음

가장 적합한 용도: 블로그, FAQ, 튜토리얼 및 제품 문서.

기술 비교

LLM을 사용자의 문서로 제한하기

RAG의 가장 큰 강점 중 하나는 모델이 검색된 문서의 문맥 (Context)만을 사용하여 답변하도록 지시할 수 있다는 점입니다.

전형적인 프롬프트 (Prompt)는 다음과 같습니다:

제공된 문서 문맥만을 사용하여 답변하세요.

만약 검색된 문서에서 답변을 찾을 수 없다면, 다음과 같이 응답하세요:
...

이는 환각 (Hallucinations) 현상을 크게 줄이고, 응답이 신뢰할 수 있는 정보에 기반하도록 보장합니다.

어떤 청킹 (Chunking) 전략을 선택해야 할까요?

모든 상황에 적용되는 만능 해결책은 없습니다.

• 학습 중이거나 개념 증명 (Proof of Concept)을 구축하고 있다면 **고정 크기 청킹 (Fixed-Size Chunking)**을 선택하세요.
• 대부분의 프로덕션 RAG 애플리케이션에는 **중첩이 있는 고정 크기 청킹 (Fixed-Size Chunking with Overlap)**을 선택하세요. 이는 단순함과 검색 품질 사이에서 탁월한 균형을 제공하기 때문입니다.
• 주제의 일관성을 유지하는 것이 필수적인 경우, 특히 기업용 또는 도메인 특화 콘텐츠의 경우 **의미론적 청킹 (Semantic Chunking)**을 선택하세요.
• 문장 경계를 보존하는 것이 중요한 문서, 블로그 및 구조화된 텍스트 콘텐츠의 경우 **문장 기반 청킹 (Sentence-Based Chunking)**을 선택하세요.

마치며

청킹은 단순히 텍스트를 더 작은 조각으로 나누는 것 그 이상입니다. 이는 효과적인 RAG 시스템의 토대입니다.

선택한 청킹 전략은 검색 정확도, 응답 품질, 지연 시간 (Latency) 및 토큰 소비량에 직접적인 영향을 미칩니다. 고정 크기 청킹은 시작하기에 아주 좋은 방법이지만, 프로덕션 수준의 AI 시스템은 더 신뢰할 수 있는 결과를 제공하기 위해 중첩된 청크, 의미론적 경계 및 지능형 검색 기술을 결합하는 경우가 많습니다.

RAG 애플리케이션을 구축하고 있다면, 청킹 전략을 실험하는 데 시간을 투자하세요. 이는 여러분이 수행할 수 있는 가장 영향력 있는 최적화 중 하나입니다.

다음 기사에서는 RAG 파이프라인을 완성하기 위해 임베딩 (Embeddings), 벡터 데이터베이스 (Vector Databases), 그리고 유사도 검색 (Similarity Search)에 대해 살펴보겠습니다.

즐거운 개발 되세요! 🚀