LLM이 당신의 도메인을 "알게" 하고 싶을 때, 파인튜닝(Fine-tuning)을 하여 가이드라인을 가중치(weights)에 구워 넣고 그것을 기억하기를 바라는 반사적인 행동이 있습니다. 정확하고(correct) 방어 가능해야(defensible) 하는 코파일럿(예: 언더라이터(underwriter)를 돕는 도구)의 경우, 이는 대개 잘못된 본능입니다. 검색(Retrieval)이 기억(memory)보다 뛰어난 이유는 그것이 더 똑똑해서가 아니라, 감사가 가능하고(auditable), 최신 상태이며(fresh), 재학습(retraining)을 요구하지 않기 때문입니다.

지식을 위한 파인튜닝(Fine-tuning) vs 검색(retrieval)

파인튜닝(Fine-tuning)은 모델에게 **기술(skill), 형식(format), 또는 스타일(style)**을 가르치는 데는 훌륭합니다. 하지만 **최신 상태를 유지해야 하고 인용 가능해야 하는 사실(facts)**을 가르치기에는 부적절한 메커니즘입니다.

언더라이팅 코파일럿의 핵심 기능은 유창함이 아니라, 사람이 **출처를 확인하고 이를 거부할 수 있다(overrule)**는 점입니다. 인용을 할 수 없는 코파일럿은 자신감 넘치는 낯선 사람과 같습니다. 반면 특정 가이드라인, 조항, 그리고 이전 사례를 검색해 오는 코파일럿은 파일을 가져오는 주니어 분석가와 같습니다.

아키텍처(The architecture)

질문(question) ─► 검색(retrieve)(가이드라인, 정책, 이전 사례 중 top-k 추출)
        ─► 재순위화(rerank) + 컨텍스트 조립(출처 ID 포함)
        ─► LLM은 오직 검색된 컨텍스트(retrieved context)로부터만 답변
...

정직함을 유지하는 규칙은 다음과 같습니다: 모델은 자신의 기억이 아니라 검색된 컨텍스트(retrieved context)로부터 답변해야 합니다. 만약 답변이 검색된 소스에 없다면, 자신감 있게 추측하는 것이 아니라 "해당 정보를 가지고 있지 않습니다"라고 답하는 것이 올바른 출력입니다. 보험 분야에서 이 경계는 유용한 도구와 책임 소지가 있는 부채(liability) 사이의 차이를 만듭니다.

이것이 정확성을 넘어 중요한 이유

• 최신성 (Freshness). 가이드라인은 변경됩니다. 검색 시스템 (Retrieval system)은 문서를 업데이트하는 즉시 최신 상태가 되지만, 미세 조정 (Fine-tuned)된 모델은 마지막 학습 시점에 고정됩니다.
• 감사 가능성 (Auditability). 모든 답변은 출처를 추적할 수 있습니다. 규제 기관이나 선임 언더라이터 (Senior underwriter)가 "어떤 근거로 답변했습니까?"라고 물었을 때, 당신은 근거를 제시할 수 있습니다.
• 비용 및 반복 (Cost & iteration). 지식 베이스 (Knowledge base)를 편집하는 데는 몇 분이면 충분하지만, 재학습 (Retraining)은 하나의 프로젝트입니다. 모델이 아닌 _데이터 (Data)_를 통해 반복 작업을 수행합니다.
• 최소한의 의외성 (Least surprise). 가중치 (Weights)가 당신이 원하는 방식으로 일반화되기를 기대하는 것이 아니라, 코퍼스 (Corpus)를 제어함으로써 지식을 제어합니다.

언제 미세 조정 (Fine-tune)을 해야 할까요?

기초 모델 (Base model)이 제대로 수행하지 못하는 일관된 구조, 어조, 또는 작업 특정적 동작 (Task-specific behavior)이 필요할 때 미세 조정을 해야 합니다. 최신 상태로 유지해야 하는 지식 베이스를 주입하기 위해 미세 조정을 해서는 안 됩니다. 이 두 기술은 상호 보완적입니다. _동작 (Behavior)_은 미세 조정하고, _사실 (Facts)_은 검색하세요.

보험 코파일럿 (Insurance-copilot) 프레임워크를 통한 전체 글 (검색이 기억보다 뛰어난 이유, 그리고 그것이 신뢰를 구축하는 방법):

언더라이터를 위한 AI 코파일럿: 왜 검색이 기억보다 뛰어난가 →

IntelliBooks의 보험 AI의 데이터 기반에 관한 시리즈 중.

당신의 스택에서 미세 조정 (Fine-tune)과 검색 (Retrieve) 사이의 경계선을 어디에 긋고 계신가요?