강력한 LLM을 만드는 데이터 배합 기술: 업계별·단계별 혼합 비율 고찰

LLM의 성능을 좌우하는 요인 중에서, **아키텍처(Architecture)나 학습률(Learning Rate)만큼 중요한 것이 데이터 혼합 비율(Data Mixture)**입니다.

어떤 데이터를 얼마나 섞느냐에 따라, 동일한 모델 크기와 동일한 계산 비용(Compute Cost)에서도 최종적인 성능이 크게 달라집니다. 본 기사에서는 사전 학습(Pre-training) 데이터의 종류부터 시작하여, 업계별 최적 배분, 나아가 CPT·SFT·GRPO·DPO라는 각 학습 단계(Phase)별 배분 전략까지 일관되게 정리합니다.

1. 중요한 전제: 「데이터의 종류」와 「학습 단계」는 별개의 축

먼저 혼동하기 쉬운 점을 정리하겠습니다.

이 두 가지는 독립된 축입니다. "SFT에 어떤 데이터를 사용할 것인가"와 같이 조합됩니다. 본 기사에서는 먼저 데이터의 종류를 정리하고, 그 후 단계별 전략, 마지막으로 업계 × 데이터 종류의 매트릭스로 진행하겠습니다.

2. 데이터의 종류: 5층 구조로 정리하기

LLM의 학습 데이터는 품질·가공도 관점에서 **5개의 레이어(Layer)**로 정리할 수 있습니다.

Layer 5: 합성 데이터 (Synthetic Data) ← 모델이 생성. 품질에 따라 독이 될 수도 약이 될 수도 있음
Layer 4: 태스크 구조화 (Task Structuring) ← 지시(Instruction)·Q&A·CoT 형식으로 정제 완료
Layer 3: 구조화 데이터 (Structured Data) ← Wikipedia·논문·서적 등 고품질
...

품질과 양은 트레이드오프(Trade-off) 관계입니다.

저품질·대량 ─────────────────────── 고품질·소량
Raw Web ─────────────────────── 교과서·논문·수학
↑ 필터링(Filtering)으로 품질 향상

Phi-2 (Microsoft)는 "교과서 품질" 데이터에 집중함으로써, 훨씬 더 큰 모델에 필적하는 성능을 소형 모델에서 실현했습니다. 양보다 질이라는 방향성의 대표적인 사례입니다.

Layer 1: 생데이터 (Raw)

필터링 전의 가공되지 않은 데이터. 그대로 학습에 사용하는 경우는 거의 없으며, Layer 2를 위한 원재료로 사용합니다.

Layer 2: 큐레이션된 데이터 (Curated Data)

Layer 1을 품질 필터링·중복 제거·유해 콘텐츠 제거한 상태. 현대 LLM 사전 학습의 주력입니다.

Layer 3: 구조화 데이터 (Structured Data)

인간이 작성·편집한 고품질 데이터. 양은 적지만 정보 밀도가 높으며, 소량으로도 큰 효과를 발휘합니다.

Layer 4: 태스크 구조화 데이터 (Task-Structured Data)

"입력(Input) → 출력(Output)" 형식으로 정제된 데이터. SFT의 주력 소재이며, 모델에게 "어떻게 답할 것인가"를 가르칩니다.

Layer 5: 합성 데이터 (Synthetic)

강력한 모델이 생성한 데이터. 적절히 사용하면 다른 데이터로는 얻을 수 없는 효과를 발휘하지만, 품질 관리를 소홀히 하면 환각 (Hallucination)을 증폭시킬 위험도 있습니다.

3. 산업군 × 데이터 종류 히트맵

18가지 데이터 타입이 각 산업군에서 어느 정도의 비율로 필요한지를 나타냅니다. 수치는 해당 산업군의 전체 학습 데이터에서 차지하는 비율(%)의 가이드라인입니다.

범례: 진한 파랑 = 높은 비율, 연한 파랑 = 낮은 비율, 공백 = 0% 또는 거의 불필요

Layer 1 (Raw Data)

Layer 2 (Curated Data)

Layer 3 (Structured Data)

Layer 4 (Task-Structured Data)

Layer 5 (Synthetic Data)

히트맵에서 읽을 수 있는 3가지 포인트

① GRPO와 궁합이 좋은 것은 코드+테스트 쌍과 CoT 추론 데이터

프로그래밍과 수학에서 돌출적으로 높은 비율을 보입니다. 정오답의 자동 검증이 가능하기 때문에, 이 두 종류는 GRPO의 보상 함수 (Reward Function)로 직접 활용할 수 있습니다.

② Persona-driven 합성 데이터는 게임과 CS만 높음

타 산업군에서는 거의 0%이지만, 게임(15%)과 CS(8%)만 돌출되어 있습니다. "캐릭터 고유의 말투"나 "다양한 고객 유형에 대한 대응"은 합성 데이터 (Synthetic Data)로 다양성을 보충하는 것이 가장 효율적입니다.

③ 합성 데이터의 안전한 상한선은 산업군에 따라 크게 다름

수학·게임에서는 합성 데이터 합계가 20~35%에 달하지만, 의료(9%)·법률(5%)은 의도적으로 낮게 유지하고 있습니다. 정확성이 생명인 산업군에서는 합성 데이터의 환각 (Hallucination) 증폭 리스크가 치명적이기 때문입니다.

4. 데이터 혼합 비율 최적화에 관한 주요 논문

"혼합 비율을 어떻게 결정할 것인가"는 활발한 연구 영역입니다.

DoReMi (NeurIPS 2023)

논문: DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining (Google DeepMind × Stanford, arxiv: 2305.10429)

280M 규모의 작은 프록시 모델 (Proxy Model)을 Group DRO로 학습하여, 다운스트림 태스크 (Downstream Task)의 지식 없이 도메인 가중치를 최적화하는 방법입니다. 얻어진 혼합 비율로 8B 규모의 큰 모델을 학습하면, Few-shot 정확도가 6.5% 향상되었으며, 동일한 정확도를 2.6배 적은 스텝 (Step)으로 달성할 수 있었습니다.

핵심 아이디어: 작은 모델로 비율을 탐색 → 큰 모델에 전용

Data Mixing Laws (ICLR 2025)

스케일링 법칙 (Scaling Law)이 모델 크기나 스텝 수에 대해 손실 (Loss)을 예측할 수 있다면, 혼합 비율에 대해서도 동일하게 예측할 수 있을 것이라는 발상에서 출발한 논문입니다. 실제 학습 전에 미지의 혼합 비율에 대한 성능을 추정하는 함수 피팅 (Function Fit)이 가능하다는 것을 입증하였으며, 스케일링 법칙의 중첩 이용을 통해 대규모 모델로의 외삽 (Extrapolation)도 실현했습니다.

RegMix (ICLR 2025)

데이터 혼합 최적화를 회귀 문제 (Regression Problem)로 정식화한 방법입니다. 다양한 혼합 비율로 작은 모델을 다수 학습하여, 미지의 혼합 비율에 대한 성능을 예측합니다. 7B 모델·100B 토큰 실험에서 DoReMi에 필적하거나 능가하는 성능을 계산 비용 10%로 달성했습니다.

실제 모델의 혼합 비율 (공개 정보 기반)

5. 산업군별 데이터 혼합 비율 가이드 (대분류)

산업군에 따라 "무엇을 잘하기를 원하는가"가 다르기 때문에, 최적의 데이터 배합은 크게 달라집니다.

축의 정리

① 전문 지식의 깊이 ←→ 범용성의 넓이
② 생성 태스크 중심 ←→ 이해·분류 태스크 중심

BtoB 산업계

🏦 금융·은행

⚖️ 법률·리걸 (Legal)

🋏 의료·헬스케어

🋏 제조·공장 / 🚆 철도·인프라

기술 매뉴얼·유지보수 기록·안전 규칙을 주축으로 하며, 일반 웹 (Web) 데이터를 20% 정도 유지하는 것이 기본입니다. 사내의 장애 로그나 유지보수 기록은 양은 적지만, 다른 곳에서는 대체할 수 없는 고가치 데이터입니다.

BtoC 소비자계

🎮 게임·엔터테인먼트

🎓 교육·EdTech / 💳 EC·소매

교육은 교과서·문제집·Q&A를 중심으로 하여, '단계적인 설명 능력' 습득을 우선합니다. EC는 고객 지원 (Customer Support) 로그가 보물창고이며, 실제 CS 로그가 그대로 SFT의 교사 데이터 (Teacher Data)가 됩니다.

전 산업 공통 중요 규칙

6. 학습 단계별 배분 전략

데이터를 '무엇을 섞을 것인가'뿐만 아니라, **'어느 단계에 예산을 집중할 것인가'**도 마찬가지로 중요합니다.

학습 파이프라인은 일반적으로 다음과 같은 흐름을 가집니다.

사전 학습 (PT) → CPT → SFT → GRPO → DPO
↑ ↑
도메인 지식 주입 	 태스크 형식 정착

CPT (지속 사전 학습)

배합 규칙: 도메인 85—90% + 일반 10—15%

CMR 연구에 따르면: 일반 데이터를 단 10%만 섞어도 망각 (Forgetting)의 80%를 방지할 수 있습니다. 완전히 삭제하면 범용 언어 능력이 붕괴됩니다.

주의점은 세 가지입니다.

• 도메인 데이터의 품질이 전부입니다. 노이즈가 많은 데이터를 대량 투입하는 것보다 소량의 고품질 데이터가 효과적입니다.
• 에포크 (Epoch) 수는 1—2가 기준입니다. 너무 반복하면 암기 (Memorization) 현상이 발생합니다.
• 필터링 (Filtering)에 예산을 할애하는 것이 매우 중요합니다.

SFT (지도 미세 조정)

배합 규칙: 우선 SFT에 예산을 집중. 수렴이 빠른 태스크는 줄이고, 느린 태스크는 늘린다

태스크별 수렴 속도에 따라 배분을 동적으로 결정하는 것이 중요합니다.

• 고수렴 태스크 (축소 대상): 요약·분류 등 단순 태스크. 소량으로도 충분히 수렴합니다.
• 저수렴 태스크 (증량 대상): 복잡한 추론·코드 생성·다단계 대화

GRPO (그룹 상대 정책 최적화)

배합 규칙: Pass rate 20—80%인 문제만 선별한다

이것은 GRPO에서 가장 중요한 지견입니다.

pass rate 0% (전원 오답) → 학습 시그널 없음, 제외
pass rate 20—80% → ✅ 유효한 학습 데이터
pass rate 100% (전원 정답) → 학습 시그널 없음, 제외

동일한 문제에 대해 그룹 내에서 여러 번 샘플링하여 (G=8—16이 일반적), 상대적인 좋고 나쁨으로 보상 (Reward)을 계산합니다.

GRPO가 유효한 도메인은 정오답의 자동 판정이 가능한 영역에 한정됩니다.

• 코드 (테스트 실행으로 판정)
• 수학·논리 추론 (정답 대조로 판정)

법률·의료·대화계는 정답이 모호하기 때문에 GRPO 적용이 어렵고, 사용하더라도 제한적입니다.

DPO (직접 선호 최적화)

배합 규칙: 모델이 커진 후에 효과가 나타난다. 소규모 모델은 SFT 우선

• 7B 이상에서 진가를 발휘합니다. 소형 모델은 참조 분포 (Reference Distribution)가 약해 DPO의 대조 학습 (Contrastive Learning)이 기능하기 어렵습니다. Chosen/Rejected의 품질 차이가 큰 쌍(Pair)일수록 효과적입니다.
• 반드시 SFT 이후에 적용합니다 (SFT로 형식을 다지고, DPO로 품질을 연마하는 2단계 전략).

7. 도메인 × 단계 매트릭스

도메인별로 각 단계에 대한 권장 예산 배분을 정리합니다. ★는 중점 단계입니다.

| 도메인 | CPT | SFT | GRPO | DPO | 중점 |
|---|---|---|---|---|
| 💻 프로그래밍 | 20% | 30% | 40% | 10% | GRPO ★ |
| 🔢 수학·논리 추론 | 25% | 25% | 45% | 5% | GRPO ★ |
| 🏦 금융·파이낸스 | 40% | 35% | 10% | 15% | CPT ★ |
| ⚖️ 법률·리걸 | 45% | 30% | 5% | 20% | CPT ★ |
| 🏥 의료·헬스케어 | 45% | 30% | 10% | 15% | CPT ★ |
| 🎮 게임·캐릭터 AI | 20% | 40% | 15% | 25% | SFT ★ |
| 🎓 교육·EdTech | 25% | 40% | 25% | 10% | SFT ★ |
| 🛒 고객 지원 (CS) | 25% | 45% | 5% | 25% | SFT ★ |
| 🏭 제조·기술 문서 | 40% | 35% | 15% | 10% | CPT ★ |

매트릭스에서 읽을 수 있는 원칙

GRPO가 ★가 되는 도메인은 2개뿐

프로그래밍과 수학·논리 추론뿐입니다. 이는 "정답을 자동으로 판정할 수 있는가"라는 단 하나의 기준으로 결정됩니다.

CPT가 ★가 되는 곳은 지식 밀도가 높은 영역

금융, 법률, 의료, 제조는 "전문 지식의 깊이"가 곧 경쟁 우위 그 자체입니다. 이곳에 대한 투자가 가장 큰 리턴을 가져옵니다.

SFT가 ★가 되는 곳은 형식·스타일이 가치를 지니는 영역

게임 캐릭터, CS, 교육은 "무엇을 아는가"보다 "어떻게 답하는가"가 가치이기 때문에 SFT 중심이 됩니다.

DPO가 단독으로 ★가 되는 도메인은 없다

어느 영역에서든 DPO는 SFT의 후처리(Post-processing)로서 기능하기 때문에, 단독으로 주인공이 되는 경우는 거의 없습니다.

8. 실무상의 병목 현상

이론적인 최적 배분보다, 데이터가 존재하는가의 문제가 실무에서는 더 큽니다.

업계 특화 모델의 진정한 승부는 "최적 배분의 계산"보다 앞서, **"데이터를 어떻게 수집할 것인가·데이터 전처리(Pre-processing)를 어떻게 할 것인가"**라는 데이터 파이프라인 설계에 있습니다.

요약

LLM의 데이터 혼합 전략을 정리하면 다음과 같은 3개의 레이어로 나뉩니다.

Layer 1: 무엇을 섞을 것인가 (데이터 유형)

Web, 서적, 코드, 학술, 합성 데이터(Synthetic Data)를 조합합니다. 도메인에 따라 전문 데이터의 비율을 높입니다.

Layer 2: 얼마나 섞을 것인가 (업계별 배분)

전문성이 높은 업계일수록 도메인 데이터를 늘리지만, 일반 Web 데이터는 최소 10~20%를 유지합니다.

Layer 3: 어느 단계에 투자할 것인가 (단계별 배분)

• 코드·수학 → GRPO에 적극 투자
• 지식 계열 (금융·법률·의료) → CPT에 적극 투자
• 형식·스타일 계열 (CS·게임) → SFT에 적극 투자
• DPO는 7B 이상의 모델에서 품질 정교화를 위한 마무리 단계로 사용

참고 문헌

• Xie et al. (2023) DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining— arxiv: 2305.10429
• Ye et al. (2024) Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance— arxiv: 2403.16952
• Liu et al. (2024) RegMix: Data Mixture as Regression for Language Model Pre-training— arxiv: 2407.01492
• Grattafiori et al. (2024) Llama 3 Technical Report
• OLMo Team (2025) OLMo 2
• Kang et al. (2024) AutoScale: Automatic Prediction of Computation-optimal Data Composition for Training LLMs

Discussion