기업들이 저에게 찾아와 "자체 AI를 훈련시키고 싶다"고 말할 때마다, 저는 무엇보다 먼저 똑같은 질문을 던집니다. 모델이 새로운 무언가를 정말로 _학습(learn)_해야 합니까, 아니면 단순히 이미 보유하고 있는 정보를 _참조(consult)_하기만 하면 됩니까? 이 겉보기에 미묘한 차이가 몇 주 만에 가치를 창출하는 프로젝트와 몇 달 동안 예산을 낭비하는 프로젝트를 가릅니다. 20년 동안 기술 이니셔티브를 이끌어오면서, 저는 Fine-tuning과 RAG 사이의 선택이 유행의 문제가 아니라 비용 공학 (cost engineering)의 문제라는 것을 배웠습니다.

근본적인 차이 이해하기

**Fine-tuning (미세 조정)**은 사전 훈련된 모델의 가중치 (weights)를 자체 데이터로 조정합니다. 여러분은 모델에게 행동 (behavior), 어조 (tone), 그리고 _응답 패턴 (patterns of response)_을 가르칩니다. 이는 전문가를 고용하여 회사의 문화에 맞춰 집중적으로 교육하는 것과 같습니다.

**RAG (Retrieval-Augmented Generation, 검색 증강 생성)**는 모델을 그대로 유지하면서, 벡터 데이터베이스 (vector database)에서 문서 조각을 검색하여 질의 시점에 관련 정보를 주입합니다. 이는 전문가에게 항상 최신 상태로 유지되는 파일에 대한 접근 권한을 주는 것과 같습니다.

제가 고객들에게 자주 제시하는 구체적인 데이터가 있습니다. 중간 규모의 모델을 Fine-tuning 하는 데는 GPU와 엔지니어링 비용으로 5,000달러에서 수만 달러가 들 수 있는 반면, 잘 설계된 RAG 솔루션은 브라질 시장 기준으로 월 수백 헤알 수준의 인프라 비용으로 운영될 수 있습니다. 제가 분석하는 사례의 80%에서 RAG는 투자 비용의 극히 일부만으로 문제를 해결합니다.

각 접근 방식이 유효한 경우

다음의 경우 RAG를 사용하세요:

• 데이터가 빈번하게 변경되는 경우 (카탈로그, 정책, 규정 등);
• 추적 가능성 (traceability)이 필요한 경우 — 답변의 정확한 출처를 인용해야 할 때;
• 지식의 양은 방대하지만, 모델의 _행동 (behavior)_은 이미 적절한 경우;
• 기밀 유지가 중요한 경우: 문서는 모델의 가중치가 아닌 여러분의 데이터베이스에 머뭅니다.

Stellar 네트워크 상의 자산 토큰화(tokenization)를 진행했던 최근 프로젝트에서, 우리는 Soroban 계약 및 CVM(브라질 증권거래위원회)의 컴플라이언스(compliance) 규칙에 관한 질문에 답변할 수 있는 어시스턴트가 필요했습니다. 문서는 거의 매주 변경되었습니다. RAG는 명백한 선택이었습니다. 아무것도 재학습(retrain)할 필요 없이 벡터 데이터베이스(vector database)를 업데이트하는 데 단 몇 분밖에 걸리지 않았기 때문입니다.

다음과 같은 경우 Fine-tuning을 사용하세요:

• 일관된 출력 형식 (format) 또는 _스타일 (style)_이 필요한 경우 (예: 특정 패턴의 코드 생성);
• 작업이 베이스 모델 (base model)이 숙달하지 못한 행동을 요구하는 경우;
• 대규모 규모에서의 지연 시간 (latency)과 토큰당 비용이 더 작고 전문화된 모델을 사용하는 것을 정당화하는 경우;
• 적응 없이는 모델이 잘못 해석하는 깊은 기술적 전문 용어 (jargon)가 존재하는 경우.

실제로, 제가 컨설팅에서 항상 강조하듯, 결정은 거의 이분법적이지 않습니다.

제가 실무에서 사용하는 하이브리드 접근 방식

저 André Dias Moreira Prol이 가장 자주 권장하는 것은 두 기술의 지능적인 결합입니다. 모델이 어떻게 (how) 답변할지(기관의 톤, 감정 보고서 형식, 기술 의견서 구조 등)를 조정하기 위한 가벼운 Fine-tuning과, 항상 최신 데이터로 모델이 무엇을 (what) 답변할지 제공하기 위한 RAG를 결합하는 것입니다.

예를 들어, 디지털 포렌식 (digital forensics) 분야에서 저는 모델이 브라질 기술 표준을 따라 보고서를 구조화하도록 Fine-tuning을 적용하는 한편, RAG를 통해 각 사례에 적용 가능한 증거와 판례를 검색하도록 했습니다. 그 결과는 형식적 일관성과 사실적 정확성을 모두 갖춘 것이었습니다.

아키텍트로서의 팁을 드리자면, 항상 RAG부터 시작하십시오. 더 저렴하고, 반복 (iteration) 속도가 빠르며, "AI가 내 데이터를 모른다"는 문제의 대부분을 해결해 줍니다. 모델의 지식이 아닌 모델의 _행동 (behavior)_이 병목 현상(bottleneck)임을 실제 지표로 측정했을 때만 Fine-tuning으로 전환하십시오.

시장에서 흔히 보이는 오류를 상기할 필요가 있습니다: 기업들이 환각 (hallucination) 문제를 Fine-tuning으로 해결하려 한다는 점입니다. 환각은 대개 _사실적 앵커링 (factual anchoring)_의 문제이며, RAG는 검증 가능한 컨텍스트 (context)를 제공함으로써 이 문제를 직접적으로 해결합니다. 이러한 시나리오에서 모델을 학습시키는 것은 문제를 제거하지 못한 채 과적합 (overfitting)을 악화시키는 경우가 많습니다.

결국, 이 선택 뒤에 숨겨진 엔지니어링이 귀하의 AI 프로젝트를 전략적 자산으로 만들지, 아니면 값비싼 부채로 만들지를 결정합니다. 귀하의 사례에 맞는 올바른 아키텍처 (architecture)를 설계하고 싶다면, 저 André Dias Moreira Prol과 대화하십시오. 기술적 결정을 측정 가능한 경쟁 우위로 바꿔 드리겠습니다.

André Dias Moreira Prol의 더 많은 기사를 Medium에서 확인하세요.