대중적인 Codex 패턴은 간단합니다. Sol이 작업을 계획하게 한 다음, 실행은 훨씬 더 저렴한 Luna 서브에이전트(Subagent)에게 위임하는 것입니다.

가격 차이는 실재합니다. 현재의 Codex 토큰 기반 크레딧 요금표에 따르면, Luna의 입력(input), 캐시된 입력(cached-input), 그리고 출력(output) 요금은 Sol의 약 25분의 1 수준입니다.

하지만 그렇다고 해서 전체 워크플로우의 비용이 25분의 1이 되는 것은 아닙니다.

모든 위임은 저렴한 모델 주변에서 더 많은 작업을 생성합니다. 메인 에이전트(Main agent)는 작업을 분할하고, 컨텍스트(Context)를 패키징하며, 진행 상황을 모니터링하고, 핸드오프(Handoff)를 받고, 결과를 확인하며, 때로는 재시도(Retry)를 해야 합니다. 서브에이전트(Subagent) 또한 자체적인 모델 호출(Model calls)과 도구(Tools)를 사용합니다.

한 Reddit 사용자는 유사한 리팩토링(Refactoring) 작업을 비교하여, Sol과 Luna 조합이 약 20~40% 더 빠르게 완료되었지만 전체 비용은 약 35% 더 많이 들었다고 보고했습니다. 이는 한 개인의 테스트일 뿐 보편적인 결과는 아닙니다. 그럼에도 이는 유용한 경고가 됩니다. 모델 요금은 청구서의 단 한 줄일 뿐이라는 사실입니다.

라우팅(Routing) 문제가 우선입니다

잘못된 질문은 다음과 같습니다: "모든 서브에이전트(Subagent)가 어떤 모델을 사용해야 하는가?"

유용한 질문은 다음과 같습니다: "이 작업을 위임해야 하는가?"

저는 이러한 결정을 위한 라우팅(Routing) 규율로서 Token Saver를 구축했습니다. 이것은 자동 디스패처(Automatic dispatcher)가 아니며 사용 제한을 우회하지도 않습니다.

프로세스는 엄격한 필터링에서 시작됩니다: 어떤 모델이 데이터를 볼 수 있도록 허용되는가?

그다음 다섯 가지 실질적인 차원을 점수화합니다:

1. 불확실성 (Uncertainty): 얼마나 많은 판단이 필요한가?
2. 오류 비용 (Error cost): 결과가 틀렸을 경우 어떤 일이 발생하는가?
3. 검증 가능성 (Verifiability): 기계나 검토자가 출력을 저렴하게 확인할 수 있는가?
4. 컨텍스트 복잡성 (Context complexity): 얼마나 많은 공유 상태(Shared state)가 작업과 함께 이동해야 하는가?
5. 부작용 (Side effects): 해당 동작을 되돌릴 수 있는가?

명확하고, 반복 가능하며, 테스트 가능하고, 되돌릴 수 있는 실행은 더 낮은 비용 계층에서 시작할 수 있습니다. 모호하거나 되돌릴 수 없는 판단은 더 강력한 모델에 남겨둡니다. 혼합된 작업은 실행과 판단의 비용을 분리할 수 있도록 나누어야 합니다.

"항상 가장 저렴한 것을 선택하라"는 저의 평가에서 실패했습니다

해당 프로젝트와 함께 발표된 30개 작업 평가(30-task evaluation)에서, 동적 라우팅 (Dynamic routing)은 강력한 모델(strong-model) 기준점 대비 추정 0.30x의 비용을 사용하며 89.0%를 성공적으로 완료했습니다.

고정된 중간 계층 정책 (Fixed mid-tier policy)은 동일한 작업 혼합 구성에서 0.34x를 사용하며 96.7%에 도달했습니다.

이는 소규모 프로젝트 평가이며, 모든 워크로드 (Workload)에 대한 약속은 아닙니다. 흥미로운 결과는 더 정교한 라우팅 정책이 약간 더 저렴했지만 성공률은 더 낮았다는 점입니다. 비용, 신뢰성, 복잡성을 동시에 모두 만족하는 정답은 없습니다.

가장 저렴한 작업자가 아닌, 워크플로우를 계산하십시오

유용한 비용 검토에는 다음 항목이 포함됩니다:

• 메인 에이전트 (Main-agent)의 계획 및 모니터링
• 각 서브에이전트 (Subagent)에 전달되는 컨텍스트 (Context)
• 재시도 (Retries) 및 검증 (Verification)
• 도구 호출 (Tool calls)
• 실패를 조사하는 데 필요한 인간의 시간

목표는 모든 토큰 (Token)을 최소화하는 것이 아닙니다. 오직 강력한 모델만이 할 수 있는 판단을 위해 비싼 모델을 아껴두는 것입니다.

Token Saver on Hugging Face

출처: OpenAI subagent documentation, Codex rate card, 그리고 개별 Reddit 비용 보고서.

AI 지원 초안 작성. 프로젝트 지표, 요금표 주장 및 개인적 사례의 경계는 출판 전 검토되었습니다.