퇴역·가격 인상, 그리고 "공급의 주권"이라는 마지막 이유

선택하고, 측정하고, 최적화한 모델이 어느 날 아침 알림과 함께 **퇴역(Retirement)**했다. 게다가 하나가 아니었다. 저렴한 계층이 통째로 사라지고, 남은 것은 최고가 모델 하나——출력 단가는 이전의 5배다.

레이턴시(Latency)도 비용도 스스로 제어할 수 있는데, 토대(Foundation)가 되는 모델만은 제어할 수 없었다. 속도·비용과 나란히 하는 세 번째 판단 축으로서, 공급의 주권이 여기서 등장한다.

단, 자체 구축(Self-hosting)은 단순히 "돌리는 것"만으로는 부족하다. 기성 경량 모델은 품질에서 뒤처졌다 (42~69% 대 94%). 그리고 남은 6일의 위기에 즉각 대응할 수 있었던 것은, 대체 모델을 사용할 수 있는지 사람의 손을 빌리지 않고 확인할 수 있는 측정 기반이 있었기 때문이었다.

지금까지의 세 번은 모두 "내 손으로 성능을 좋게 만드는" 이야기였다. 측정하고, 분해하고, 레버를 당긴다. 하지만 아무리 최적화를 쌓아 올려도, 내 힘으로는 어찌할 수 없는 계층이 하나 남아 있었다. 토대가 되는 모델 그 자체다.

그 사실을 뼈저리게 깨닫게 된 것은 어느 날 아침의 퇴역 통지였다.

외부 AI API에는 "모델의 퇴역(제공 종료)"이 있다. 어느 날, 사용하던 모델에 종료 예정일이 붙는다.

나의 경우, 그것은 연쇄적이었다. 우선, 무료 구간용 모델과 유료 구간용 모델 둘 다 다음 달, 다다음 달의 종료 예정이 붙어 있다는 사실을 깨달았다. 서둘러 다른 모델로 옮겼다. 그런데 그 2주 후, 옮겨간 모델에서도 종료 예정이 판명되었다. 둘러보니 같은 계열의 모델들이 통째로 퇴역하는 방향으로 움직이고 있었다. 남은 6일 안에 대체제를 결정하라는 상황이었다.

내 코드는 단 한 줄도 망가지지 않았다. 문제는 그 아래다——토대로 빌려 쓰고 있는 모델 그 자체를, 빌려주는 쪽의 사정에 따라 회수당하고 있다. 버그가 아니라, 공급이 사라지는 것이다.

퇴역해가는 모델들을 비용이 저렴한 순서대로 나열해 보았다.

퇴역하는 것은 **전부 "저렴한 계층"**이었다. 살아남은 것은 가장 비싼 하나뿐. 게다가 그 모델은 이전 모델보다 5배나 가격이 인상되어 있었다.

즉, 잃어버린 것은 품질이 아니다. 품질은 살아남은 비싼 모델 덕분에 오히려 올라간다. 잃어버린 것은 **유일한 "저렴함"**이었다. 저렴한 선택지가 뿌리째 사라지고, 남은 것은 가장 높은 플랜으로 향하는 편도 티켓뿐이었다.

실제로 이 살아남은 비싼 모델을 모든 사용자에게 제공했을 때 경제 상황이 어떻게 변할지를 비용 시뮬레이션으로 확인했다. 결과는 명확했다——현실적인 유료 전환율로는 명백한 적자였다. 손익분기점에 도달하기 위해 필요한 전환율이 현실(수%)의 몇 배에 달하는 파산 수준까지 치솟는다. 품질은 올라가더라도, 이 단가로는 사업을 운영할 수 없다. 저렴함이 사라진다는 것은 바로 이런 의미였다.

여기서 서서히 본질이 보이기 시작했다.

• 레이턴시는 스스로 분해하여 스스로 줄일 수 있다.
• 비용도 출력을 깎고 낭비를 없애며 스스로 낮출 수 있다.
• 하지만——
  토대가 되는 모델 그 자체만은, 공급 측에서 퇴역시키고 가격을 올린다. 내가 할 수 있는 일은 아무것도 없다.

빌려온 CPU 위에서 아무리 똑똑하게 최적화를 쌓아 올려도, CPU째로 회수당하면 그날로 끝난다. 이것이 외부 API에 완전히 의존하는 것의, 보이지 않는 리스크였다.

제2회에서 나는 "가깝고 빠른 곳을 원한다"고 썼다. 하지만 정말로 원했던 것은 그 너머에 있었다. 사라지지 않고, 멋대로 가격을 올리지 않는 곳이다.

추론을 직접 보유하는 것(Self-hosting)의 진짜 동기는 속도도 비용도 아닌——공급의 주권, 즉 자신의 토대를 스스로 쥐는 것이었다.

단, 여기에 함정이 있다. 기성 경량 모델을 단순히 자체 구축하는 것만으로는 품질에서 패배한다. 실제로 측정해 보니, 기성 경량 모델들은 모두 살아남은 운영 모델에 비해 크게 뒤처졌다. 특히 "번역의 구어체로서의 자연스러움"에서 그러했다.

왜 이런 차이가 발생하는가? 그 이면에는 다음과 같은 사정이 있다. 살아남은 프로덕션 모델(외부 API가 제공)은 사실 **고성능 대형 모델 (Large Model)**이다. 외부 추론 사업자는 그 대형 모델을 **독자적인 고속 추론 기반 (전용 칩)**에 올려서, "크지만 저지연 (Low Latency)"—즉, 지능과 속도를 동시에—제공하고 있었다. 그래서 외부 API를 사용하는 동안에는 "크고 빠른" 장점만을 취할 수 있었던 것이다. 하지만 자체적으로 저렴한 GPU로 교체하면, 빠르고 저렴하게 구동하기 위해서는 모델을 작게 만드는 (Model Compression) 수밖에 없다. 그 순간 희생되는 것이 바로 품질(특히 구어체의 자연스러움)이었다.

따라서 "자체적으로 구동하는 것"만으로는 부족하다. 자체 데이터로 모델을 미세 조정 (Fine-tuning)하여 전용기로 만드는 것—여기까지 해야 비로소 주권과 품질이 양립한다. 이 42%를 84%로, 일부 태스크에서는 거대 모델과 동등한 수준까지 끌어올린 구체적인 준비 방법은 전문 특화 시리즈에서 다룬다. 이것은 단순한 부업이 아니라, 본격적인 투자 (Moat, 해자)가 된다.

그리고 경제성도 뒤바뀐다. 사용할수록 비용을 지불하는 종량제에서, GPU를 고정비로 보유하는 모델로. 일정 규모를 넘어서면 자체 구축하는 편이 더 저렴하며, 서비스 종료(퇴역)와 가격 인상으로부터 자유로워진다 (이 산출과 지연 시간(Latency) 실측은 제5회에서).

---

외부 API 위에서는 토대를 쥐고 있는 쪽이 공급자다. 서비스 종료나 가격 인상은 통제 불가능한 공급망 리스크(Supply Chain Risk)이며, 더욱이 저렴한 선택지일수록 먼저 사라진다. "지금은 싸다"를 전제로 사업을 설계하면 발등을 찍히게 된다. -
공급의 주권은 속도, 비용과 나란히 하는 세 번째 판단 축이다. 단, 자체화는 단순히 "구동하는 것"만으로는 부족하다. 기성 경량 모델은 품질에서 뒤처진다. 주권을 얻기 위해 품질을 희생해서는 안 된다. -
토대가 흔들릴 때 효과를 발휘하는 것은 측정 기반이다. 6일 만에 대체 모델을 확정할 수 있었던 이유는, 교체하더라도 품질이 떨어지지 않는다는 것을 인력 없이도 확인할 수 있었기 때문이다.

시리즈 「측정이 이끈 여정」 제4회 기사입니다. 원문과 이어지는 내용은 LYR Performance Note #004 / 기사 목록에 있습니다.