단일 작업에서 범용 거대 모델과 대등한 수준 도달하기 — SFT, CPO, 그리고 "골드 데이터(gold data)"를 의심하는 법

정확도 42% → 84%. 일부 작업에서는 현재 서비스 중인 거대 모델(96)과 대등한 수준. 그러면서도 모델의 크기는 작게 유지.

성공의 핵심은 "더 똑똑하게 만드는 것"이 아니라, **"하나의 작업으로 범위를 좁히는 것"**이었습니다. 거대 모델이 가진 지능의 대부분은 LYR의 작업에서 전혀 필요하지 않은 것들입니다. 학습은 두 단계로 이루어집니다: 형식(form)을 위한 모델의 답변, 그리고 풍미(flavor)를 위한 선호도(preferences) 학습입니다.

하지만 학습을 통해 주입할 수 있는 것에는 한계가 있습니다. 말하는 방식의 형식(form)은 저렴하게 학습시킬 수 있지만, 깊은 이해력과 감정적 어조(emotional register)는 용량(크기)을 필요로 합니다. 4B 모델이 어려워했던 어조는 8B로 규모를 키우자마자 나타났습니다.

Japanese to English accuracy: the base 4B at 42% goes to 84% with distillation SFT, on par with the retired original model

그림 1: 일본어→영어 정확도. 베이스 4B 모델은 42%에 머물러 있습니다. 27B 교사 모델의 번역을 모방하게 하면(distillation SFT), 84%로 뛰어올라 은퇴한 기존 모델과 동일한 수준에 도달합니다.
참고: reference-free binary judge, 단일 실행에 따른 점 추정치.

지난번에는 저만의 작은 모델을 빠르고 저렴하게 만들었습니다. 하지만 그것은 작업의 절반에 불과합니다. 그대로 두면 작은 모델은 품질 면에서 거대 모델에 뒤처지게 됩니다.

얼마나 차이가 날까요? 미세 조정(fine-tuning)되지 않은 작은 모델(4B = 40억 개의 파라미터; 이후 큰 모델의 경우 8B = 80억, 27B = 270억)에 일본어→영어 번역을 맡겼을 때 정확도는 단 **42%**에 불과했습니다. 실무에서 사용하기 불가능한 수준입니다.

그렇다면 그 격차를 어떻게 줄일 수 있을까요? 답은 위의 그림 1에 있습니다. 저는 그 42%를 은퇴한 기존 모델과 동일한 **84%**로 끌어올렸고, 일부 작업에서는 현재 서비스 중인 거대 모델과 대등한 수준까지 도달했습니다. 그러면서도 모델의 크기는 작게 유지했습니다.

이것은 레시피에 관한 이야기이며, 동시에 그 레시피가 넘을 수 없는 벽에 관한 이야기이기도 합니다.

거대 AI는 팔방미인이다

먼저, 왜 작은 모델은 패배할까요? 그리고 왜 작은 모델이 승리할 여지가 아예 없는 걸까요?

GPT, Claude, 대규모 Qwen들 — 오늘날의 거대 모델들은 시 쓰기, 법률 요약, 코드 작성, 의료 질문, 그리고 번역까지 모든 것을 수행합니다. 바로 그 범위(range) 때문에 거대 모델인 것입니다.

하지만 LYR에 필요한 것은 단 한 가지, 자막 번역입니다. LYR은 시를 쓰거나 코드를 작성하는 능력을 단 한 번도 사용하지 않습니다. 그러한 범용 지능(general-purpose intelligence)의 대부분은 LYR의 작업에서 불필요한 무게(dead weight)일 뿐입니다 (overspec).

이는 즉 — 만약 작업을 단 하나로 좁힌다면, 작은 모델이라 할지라도 그 한 가지 지점에서는 거대 모델에 도달할 수 있어야 함을 의미합니다. 범용성을 포기하고 전문성(specialization)을 되찾는 것. 그것이 "전문성" 뒤에 숨겨진 베팅이었습니다.

학습은 두 단계로 이루어진다 — 모델 답변, 그 다음은 선호도

그렇다면 어떻게 범위를 좁힐까요? 두 단계에 걸친 파인튜닝 (fine-tuning)이라는 처리를 적용합니다.

이것은 사실 ChatGPT가 똑똑해지기 위해 거친 것과 동일한 경로입니다. 베이스 언어 모델 (base language model) → 지시사항을 따르도록 모델 답변을 보여줌 (SFT) → 인간의 선호도로 다듬음 (RLHF). LYR도 동일한 순서를 따랐습니다.

1. SFT: 모델 답변을 대량으로 보여주기

첫 번째 단계는 **SFT (supervised fine-tuning, 지도 미세 조정)**입니다. 간단히 말해: 방대한 양의 모델 답변을 보여주고 해당 작업의 형식을 모델에 각인시키는 것입니다.

저는 더 큰 거대 모델 (27B)이 모델 답변을 생성하도록 했습니다. 거대 모델이 수천 개의 항목을 번역하게 한 뒤, 작은 모델이 그 번역들을 모방하게 하는 것입니다. 이를 **증류 (distillation)**라고 부릅니다. 학생이 선생님의 답안지를 그대로 베껴 쓰는 모습을 상상해 보세요.

그 효과는 극적이었습니다. 일본어→영어 정확도가 42% → 84% (+42포인트)로 상승했습니다. 이는 제가 최근까지 실제 서비스(production)에서 운영하던 은퇴한 모델과 동일한 수준입니다. 첫 번째 단계가 격차의 대부분을 메워주었습니다.

그렇긴 하지만, SFT (Supervised Fine-Tuning)에는 한계가 있습니다. 학생 모델이 교사를 너무 충실하게 모방하기 때문입니다. 교사의 말투 습관을 통째로 복사해 버립니다 (예를 들어,

다시 말해, 교사의 첫 번째 샷(first-shot) 답변 — 제가 계속해서 "정답"이라고 불러왔던 것 — 은 86%의 사례에서 최선의 답변이 아니었습니다. 그것은 장황하거나 너무 직역투였으며, 세트 내의 다른 곳에 더 나은 후보가 존재했습니다.

교훈은 다음과 같습니다: 단 하나의 정답을 준비하고 그것을 향해 학습시키는 것을 멈추십시오. 많은 후보를 생성하고 **품질 그 자체에 기반하여 선택(QE = 품질 추정, quality estimation)**하십시오. 자막에는 단 하나의 "정확한 번역"이란 존재하지 않습니다. (저 또한 다른 환경에서 골드 데이터(gold data)를 쫓는 것이 오히려 상황을 악화시키는 이 함정에 빠진 적이 있습니다.)

그리고 이 방법은 두 번째 이점을 제공합니다: SFT(지도 미세 조정, Supervised Fine-Tuning) 모델의 답변과 CPO(Contextual Preference Optimization) 학습 자료(좋은/나쁜 쌍)를 동시에 생성한다는 점입니다. 위에서 언급한 90→96의 변화는 사실 결합된 결과였습니다: 이 "후보군에서 다시 선별된 자료"를 적용한 2단계 CPO가 수행된 것입니다. 실제로 성과를 낸 것은 기술로서의 CPO라기보다 모델에 입력하는 자료의 품질이었습니다.

이것이 양자화(quantization)와 어떻게 맞물리는가

마지막 경고입니다. 공들여 학습시킨 지능은 지난번의 양자화에 의해 깎여 나갈 수 있습니다. 미세 조정(Fine-tuning)의 효과는 모델 전체에 걸쳐 "얇고 넓게" 퍼져 있기 때문에, 공격적인 압축은 이 효과를 가장 먼저 제거하는 경향이 있습니다.

따라서 미세 조정과 양자화를 동일한 조건에서 진행하십시오. 그리고 항상 실제 운영 환경에 배포할 양자화 상태에서 평가해야 합니다. 압축되지 않은 상태에서 "더 똑똑해졌다"고 축하하는 것은, 압축 후에 그 이득이 사라진다면 아무런 의미가 없습니다.

학습할 수 있는 것과 학습할 수 없는 것

하지만 미세 조정이 만능 해결책은 아닙니다. 여러 차례의 학습을 쌓아 올리면서, 넘을 수 있는 벽과 넘을 수 없는 벽이 명확하게 구분되었습니다.

• 미세 조정 (Fine-tuning)을 통한 전이 가능성: 사물을 말하는 "형식 (form)". 문구, 관용구, 간결함, 서식 — 어떻게 말하는지에 대한 "형식"은 작은 모델이라 할지라도 미세 조정을 통해 더 큰 모델의 수준으로 끌어올릴 수 있습니다.
• 용량 (크기) 필요: 깊은 이해력, 그리고 감정이 실린 어조 (emotionally loaded register). 주어가 누구인지, 성별은 무엇인지, 부정어가 적용되는지, 고유명사가 무엇인지(= 독해력). 그리고 장면의 분위기에 맞는 어조. 이 두 가지는 단순히 좋고 나쁨을 가르치는 것만으로는 채워질 수 없으며, 모델의 용량 (capacity)이 필요합니다. 실제로 감정이 실린 어조는 거대 모델 수준(98~100%)에 도달했는데, 4B 모델에서는 고전하다가 8B로 넘어갔을 때 비로소 가능했습니다.

이를 뒷받침하기 위해 통제된 실험을 수행했습니다. 선호도 학습 (preference training)만 강하게 밀어붙였을 때, 일본어→영어 정확도(이해력)는 **84% → 85%**로 변했습니다 — 이는 판정관의 노이즈 (noise) 범위 내에 있는 수준입니다. 사물을 말하는 "형식"은 변하지만, 이해력의 한계치는 변하지 않습니다.

요약하자면 — 사물을 말하는 "형식"은 작은 모델에서도 저렴하게 도달할 수 있습니다. 하지만 "깊은 이해력"과 "감정이 실린 어조"는 모델의 용량 그 자체입니다. 레시피와 용량(모델의 크기)은 하나의 세트로 설계되어야 합니다. 전문화는 마법이 아닙니다. 그것은 학습을 통해 도달할 수 있는 부분과 용량이 필요한 부분을 구분해내는 작업이었습니다.

교훈 (Lessons)

1. 거대 모델의 지능 대부분은 당신의 작업에 필요하지 않은 것들입니다. 하나의 작업으로 범위를 좁히면 작은 모델이라도 그 특정 지점에서 목표에 도달할 수 있습니다. 학습은 두 단계로 이루어집니다. 형태(form)를 위한 모델의 답변 생성(SFT = distillation) 단계와, 풍미(flavor)를 위한 선호도(CPO) 단계입니다.
2. "골드 데이터(gold data)"를 의심하세요. 후보군을 생성하고 품질에 따라 선택하는 방식(best-of-N)이 단 하나의 정답에 맞추는 것보다 더 나은 결과를 가져다줍니다. 가장 좋은 번역은 대개 당신이 준비한 "정답"이 아닙니다.
3. 학습을 통해 습득할 수 있는 것은 사물이 말해지는 방식(form)이며, 용량(capacity)이 필요한 것은 깊은 이해와 감정적 어조(emotional register)입니다. 형태는 학습 비용이 저렴하지만, 이해와 감정은 용량(크기)이 필요합니다. 레시피와 크기를 함께 설계하세요.

이제 저의 작은 모델은 (지난번처럼) 빠르고, 저렴하며, 한 가지 작업에 대해서는 똑똑합니다. 이 모델은 LYR의 작업에 대해서는 범용 거대 AI와 대등한 수준에 도달하지만, 그 외의 것에는 그렇지 않습니다. 이는 빌려온 AI를 버리기 위해 필요한 마지막 조각입니다.

부록: raw data

원문은 LYR Performance Note #012에 처음 게시되었습니다 — 이는 “Models — smaller, faster, sharper” 시리즈의 일부입니다. 전체 세트는 lyr.jp/en/research에서 확인할 수 있습니다.