모델별 활용의 '고정 비용', 어디서 이득을 볼 수 있을까

최근 GPT-5.5와 Claude Opus 4.7을 어떻게 사용 분배할지에 대한 이야기를 자주 접합니다.

자주 보이는 것은, 'GPT-5.5는 자율 주행/탐색/도구 교차 활용, Opus 4.7은 정밀 수정/리뷰/사양 준수, 따라서 공정별로 역할을 분담시키는 것이 좋다'라는 정리입니다.

이러한 주장 자체는 상당히 납득할 만합니다.

실제로 OpenAI의 GPT-5.5 발표에서는 코딩, 리서치, 데이터 분석, 문서 작성, 소프트웨어 조작을 넘나들며 태스크를 진행하는 능력이 강조되었습니다. Terminal-Bench 2.0에서는 GPT-5.5가 82.7%, Claude Opus 4.7이 69.4%라는 비교도 나왔습니다.

반면 Anthropic의 Opus 4.7 발표에서는 어려운 소프트

이전 대화의 문맥을 어떻게 전달할지 고려하는 것
판단의 배경이나, 버린 선택지를 다시 설명하는 것
모델별 프롬프트의 습관에 맞추는 것
출력의 습관에 맞춰 채택/거부 기준을 머릿속으로 전환하는 것
원활하지 않았을 때, 어떤 모델의 판단이 원인인지 분리하는 것

하나하나가 수십 초의 이야기가 될 수도 있습니다.

하지만, 대화 1턴당 마찰(friction)이 확실히 증가합니다. 마이크로서비스(microservice) 1개를 구현하는 정도의 규모라면, 이 마찰의 합계가 모델 분업으로 얻을 수 있는 '자율성'과 '정밀도'의 상승분을 잠식하고 있다는 느낌이 있습니다.

그래서 제 현장에서는 모델 분업이 '할 수는 있지만, 아직 이득을 보고 있지는 않은' 경우가 많습니다.

조사하면서 다시 생각한 것은, 벤치마크 상의 강점과 약점과 실제 업무에서 공정을 나누어야 하는지 여부는 약간 다른 문제라는 것입니다.

GPT-5.5는 Terminal-Bench 2.0이나 OSWorld-Verified와 같이 자율 실행(self-driving), 도구 사용, 컴퓨터 조작을 포함하는 평가에서 강점을 보이는 것 같습니다. OpenAI 역시 모호한 다단계 작업을 전달할 때, 계획하고, 도구를 사용하며, 확인하면서 진행한다는 방향을 강조하고 있습니다.

Opus 4.7은 SWE-Bench Pro나 코드 리뷰 관련 사례에서 강점을 보이는 것 같습니다. Anthropic의 발표에서도 지시에 대한 주의 깊음, 긴 작업의 일관성, 출력 전 검증이 전면에 나섰습니다.

여기서 'GPT-5.5는 탐색 담당, Opus 4.7은 수정 담당'이라는 정리가 나오는 것은 자연스럽습니다.

하지만, 그것은 각 모델에 다른 강점이 있다는 이야기일 뿐, 곧바로 하나의 프로젝트 내에서 공정을 분업하는 것이 좋다는 이야기는 아닙니다.

질문은 '어떤 모델이 강한가'가 아니라, 모델을 전환하는 고정 비용을 회수할 수 있는 작업인가라고 생각합니다.

또 하나, 섞여서 이야기되어 해상도가 떨어지는 포인트가 있습니다.

세상에서 '모델 사용 분배(model使い分け)'라고 불리는 것에는 자세히 보면 2가지 종류가 있습니다.

인간이 대화 도중에 손으로 전환하는 사용 분배: 에디터나 IDE에서 스스로 모델을 다시 선택하는 패턴 -
시스템이 프롬프트에 따라 자동 할당하는 사용 분배: Bedrock의 Intelligent Prompt Routing이나, 개발 환경이 내부적으로 여러 모델을 묶는 패턴

이 두 가지는 경제성이 완전히 다릅니다.

전자는 전환 고정 비용을 매번 인간이 지불하는 형태입니다. 판단하는 부하도 자신에게 걸립니다. 작은 개발에서는 우선 수익성이 없습니다.

후자는, 하네스(Harness) 쪽에 비용을 전가하는 형태입니다. 트래픽이나 과거 실적, 평가 함수를 사용해서 시스템 측에서 모델을 선택합니다. 이는 개인의 대화라기보다는, 대량의 요청을 흘려보내는 제품이나 업무 시스템 최적화에 관한 이야기입니다.

Amazon Bedrock의 Intelligent Prompt Routing은 바로 후자의 방향입니다. 같은 모델 패밀리 내에서 프롬프트에 따라 모델을 할당하여 품질과 비용의 균형을 맞추는 메커니즘입니다.

이런 메커니즘을 보면, '역시 모델은 사용 분배 시대인가'라고 생각합니다.

다만, 이것은 개인이 에디터에서 매번 '여기는 GPT-5.5, 여기는 Opus 4.7'이라고 손으로 선택하는 이야기와는 조금 다릅니다. 대량의 작업이나 요청이 있는 세계에서, 모델 선택 판단을 인간이 아닌 시스템 측에 맡기는 이야기입니다.