RAG 대 Fine-Tuning: 비즈니스 챗봇에 실제로 필요한 것은 무엇일까요?

"ChatGPT를 저희 문서로 학습시킬 수 있나요?"는 우리가 받는 가장 흔한 요청 중 하나입니다. 공정한 질문이지만, 보통 두 가지 다른 기술을 혼동하고 있습니다. 대부분의 경우 비즈니스가 필요로 하는 것은 아예 학습(training)이 아닙니다. 그것은 검색 증강 생성(retrieval-augmented generation), 즉 RAG입니다.

본 가이드에서는 이 두 가지를 쉬운 영어로 설명하고, 각각이 언제 더 효과적인지 보여주며, 고객에게 출시하기 전에 챗봇이 갖춰야 할 것들을 나열합니다.

핵심 요약(Key takeaways)

RAG는 모델이 볼 수 있는 것을 바꿉니다. Fine-tuning은 모델의 행동 방식을 바꿉니다.
만약 챗봇이 귀사의 문서, 정책 또는 제품 데이터에서 답변해야 한다면, RAG로 시작하세요.
Fine-tuning은 스타일, 형식 및 반복적인 작업을 수행하는 데 도움을 주지만, 사실 정보를 최신 상태로 유지하는 것에는 도움이 되지 않습니다.
대부분의 프로덕션 어시스턴트는 RAG와 잘 작성된 시스템 프롬프트(system prompt)를 사용하며, Fine-tuning이 전혀 필요하지 않은 경우가 많습니다.
어떤 것을 선택하든, 먼저 평가 세트(evaluation set)를 구축해야 합니다. 그렇지 않으면 작동하는지 알 수 없습니다.

한 줄 차이점

A 대규모 언어 모델(large language model)은 이미 세상에 대해 많은 것을 알고 있지만, 귀사의 환불 정책, 가격 목록 또는 지난주 제품 업데이트에 대해서는 아무것도 모릅니다. 이 격차를 메우는 방법은 두 가지가 있습니다:

RAG는 질문이 제기되는 순간 자체 콘텐츠에서 관련 구절을 찾아내어 질문과 함께 모델에게 전달합니다. 모델은 방금 보여준 내용으로 답변합니다.
Fine-tuning은 수백 또는 수천 개의 예시 대화에 걸쳐 모델을 계속 학습시켜, 패턴(tone, format, classifying things의 방식)을 배우게 합니다.

모델이 지식이 부족할 때 RAG를 사용하세요. 행동 양식(behaviour)이 부족할 때 Fine-tuning을 사용하세요.

콘텐츠 준비. 문서, 도움말 센터 기사, PDF 및 데이터베이스 기록을 작은 구절("청크(chunks)")로 분할합니다.
인덱싱. 각 청크를 임베딩(embedding)으로 변환하는데, 이는 해당 내용의 의미를 포착하는 숫자 목록이며 벡터 인덱스에 저장됩니다. 이미 PostgreSQL을 사용하고 있다면, pgvector 확장 기능만으로 충분한 경우가 많습니다.
검색(Retrieve). 사용자가 질문하면 시스템은 가장 관련성 높은 청크들을 찾아냅니다. 키워드 검색과 벡터 검색을 결합하는 하이브리드 검색(hybrid search)이 일반적으로 어느 한 가지 방법만 사용하는 것보다 성능이 뛰어납니다.
생성(Generate). 질문과 검색된 청크들은 "반드시 이 출처만을 사용하여 답변하고 출처를 명시하라"와 같은 지침과 함께 모델로 전달됩니다.
출처 명시(Cite). 생성된 답변은 사용된 구절들을 역으로 연결하여, 사용자나 팀이 그 내용을 확인할 수 있도록 합니다.

문서가 변경되면 변경된 파일만 재인덱싱하면 됩니다. 다시 학습할 필요가 없기 때문에 RAG는 매주 또는 매일 내용이 바뀌는 콘텐츠에 적합합니다.

파인튜닝(Fine-tuning) 작동 방식

파인튜닝은 기존 모델을 가져와 사용자의 예시, 즉 입력과 이상적인 출력 쌍을 수없이 반복하여 추가 학습시키는 과정입니다. 이 과정을 통해 모델은 해당 유형의 출력을 일관성 있게, 그리고 더 짧은 프롬프트로 생성하는 능력이 향상됩니다.

하지만 파인튜닝이 잘 처리하지 못하는 것은 신뢰할 수 있는 사실(fact)을 저장하는 것입니다. 파인튜닝된 모델이라도 여전히 오래된 가격 정보를 높은 확신도를 가지고 언급할 수 있으며, 사실 정보가 변경될 때마다 학습 데이터를 재구축하고 다시 훈련해야 합니다. 이것이 Anthropic과 같은 공급업체들이 대부분의 고객에게 파인튜닝보다 좋은 프롬프팅(prompting)과 검색(retrieval)을 먼저 시도하도록 권장하는 이유이며, OpenAI 자체 가이드라인 역시 프롬프트 엔지니어링(prompt engineering)을 먼저 시도해 보라고 권고하는 이유입니다. 공급업체 옵션과 가격은 자주 변경되므로, 확정하기 전에 최신 문서를 확인하세요.

RAG 대 파인튜닝: 비교 분석

	RAG (검색 증강 생성)	Fine-tuning (파인튜닝)
최적의 사용 사례	자체적으로 변경되는 콘텐츠를 기반으로 답변할 때	일관된 어조, 형식 또는 좁은 작업에 특화될 때
...

다섯 가지 질문 결정 체크리스트

답변이 귀사의 문서나 시스템의 사실에 의존하나요? → RAG.
그 사실들이 분기별로 한 번 이상 변경되나요? → RAG.
사용자가 답변이 어디서 왔는지 알아야 하나요? → RAG.
명확한 시스템 프롬프트와 좋은 예시를 사용하여 시도했지만 여전히 실패했다고 측정했나요? → 그때만 파인튜닝을 고려하세요.
태스크가 좁고 반복적이며, 높은 볼륨으로 티켓을 스무 개 카테고리로 라우팅하는 것과 같은가요? → 파인튜닝(또는 더 작은 파인튜닝 모델)이 효과를 발휘할 수 있습니다.

둘 다 필요할 때

고객 지원 어시스턴트는 답변을 위해 RAG를 사용하고, 귀사 고유의 스타일로 답장을 생성하기 위해 파인튜닝된 모델을 사용할 수 있습니다. 저희 경험상 강력한 시스템 프롬프트와 몇 가지 예시는 스타일 면에서 대부분의 과정을 해결해 주므로, 거기서 시작하여 실제 테스트 질문으로 격차를 보여줄 때만 파인튜닝을 추가하세요.

프로덕션 챗봇이 갖춰야 할 것 (데모가 생략하는 부분)

RAG 데모는 오후 시간을 차지합니다. 고객에게 배치할 수 있는 챗봇은 더 많은 것을 필요로 합니다:

평가 세트(evaluation set). 알려진 좋은 답변을 가진 실제 질문 50개에서 200개까지, 모든 변경 후에 실행하여 미세 조정이 도움이 되었는지 해로운지 판단할 수 있어야 합니다.
권한 인식 검색(Permission-aware retrieval). 직원이 문서를 열 수 없다면, 어시스턴트도 그 내용을 인용해서는 안 됩니다.
신선도 파이프라인(Freshness pipeline). 새롭거나 수정된 문서는 자동으로 재색인되며, 삭제된 문서는 제거됩니다.
'모르겠다'와 핸드오프(handoff). 검색 결과 관련성이 없는 것이 발견되면, 봇은 추측하지 않고 그렇게 말하고 사람에게 연결해야 합니다.
로깅 및 피드백(Logging and feedback). 답변에 대한 엄지손가락 위/아래 표시와 나쁜 사례를 검토할 수 있는 방법이 필요합니다.
개인정보 보호 규칙(Privacy rules). 모델 제공업체에 어떤 개인 데이터를 전송할 수 있을지 결정하고, 제공업체의 데이터 보존 약관을 확인하세요.

비용을 좌우하는 요소

정확한 가격은 제공업체와 자주 변동되지만, 비용을 좌우하는 요소는 안정적입니다:

비용 발생 요인	RAG	Fine-tuning
일회성 비용	콘텐츠 임베딩 (Embedding) 작업 1회
데이터 준비 및 학습 실행
...
대부분의 비즈니스에게는 API 청구서가 아니라 엔지니어링 시간이 가장 큰 지출 항목입니다. 이것이 간단하게 시작하고 측정해야 하는 또 다른 이유입니다.

자주 묻는 질문 (FAQ)

RAG가 제 데이터를 모델에 학습시키나요?

아닙니다. RAG를 사용하면 귀하의 문서가 자체 인덱스(index)에 저장되며, 각 질문과 함께 관련 구절만 전송됩니다. 기반이 되는 모델은 재학습되지 않습니다.

AI 제공업체가 제 데이터를 모델 학습에 사용할까요?

OpenAI와 Anthropic을 포함한 주요 API 제공업체들은 기본적으로 비즈니스 API 데이터로 학습시키지 않는다고 밝히고 있습니다. 약관은 일반 소비자 앱과 API 간에 다르며, 변경될 수 있으므로 선택하는 제공업체의 최신 데이터 사용 정책을 읽어보세요.

별도의 벡터 데이터베이스가 필요한가요?

항상 그런 것은 아닙니다. 이미 PostgreSQL을 운영하고 있다면, pgvector 확장 기능이 많은 워크로드를 처리할 수 있습니다. 전용 벡터 데이터베이스는 매우 큰 규모나 전문화된 검색 기능에 유용해집니다.

RAG 챗봇이 PDF, Google Drive 또는 Notion을 읽을 수 있나요?

예. 각 소스에는 텍스트를 추출하고 인덱스를 최신 상태로 유지하는 커넥터(connector)가 필요합니다. 스캔된 PDF의 경우 먼저 문자 인식 (OCR: Optical Character Recognition) 작업이 필요합니다.

챗봇이 지어내는 것을 막으려면 어떻게 해야 하나요?

검색된 출처에서만 답변하도록 지시하고, 인용(citation)을 표시하며, 관련 내용이 없을 때는