Fable 5는 강력합니다. 하지만 비용도 많이 듭니다. 입력 100만 토큰당 $10, 출력 100만 토큰당 $50입니다. Opus 4.8의 거의 두 배 수준입니다.

요율은 고정되어 있지만, 실제로 지불하는 금액은 그렇지 않습니다.
다음은 Fable 5 비용을 정기적으로 절반으로 줄여주는 6가지 습관입니다.

1. 최대 노력(max effort)을 기본값으로 설정하는 것을 멈추세요.

Fable 5에서 낮은 노력(Low effort) 설정은 종종 이전 모델들의 최대 설정보다 뛰어난 성능을 보입니다. 일상적인 추출(extraction), 분류(classification), 요약(summarizing) 작업은 낮음(low) 또는 중간(medium) 수준에 적합합니다. 정확도가 비용보다 실제로 중요한 작업에만 매우 높음(xhigh) 및 최대(max) 설정을 예약해 두세요. 한 번 훑어보고, 측정하고, 통과 가능한 가장 저렴한 수준을 결정하세요.

2. 기존 프롬프트에서 스캐폴딩(scaffolding)을 제거하세요.

가장 좋았던 Opus 시대의 프롬프트가 Fable 5에서는 오히려 성능을 저하시킬 수 있습니다. 번호가 매겨진 단계별 목록이나 "Y를 하기 전에 항상 X를 하라"와 같은 규칙들은 이전 모델들이 필요로 했던 가드레일(guardrails)이었습니다. Fable 5는 당신의 스캐폴딩보다 더 잘 계획합니다. 목표와 제약 조건(constraints)을 명시한 다음, 단계별 지침을 삭제하고 더 나은 결과가 나오는 버전을 유지하세요.

3. 모든 안정적인 접두사(prefix)를 캐싱(Cache)하세요.

프롬프트 캐싱(Prompt caching)은 캐싱된 입력에 대해 90%의 할인을 제공합니다. 캐시 읽기 비용은 100만 토큰당 $10가 아닌 $1입니다. 시스템 프롬프트(system prompt)와 안정적인 컨텍스트(context)를 앞부분에 배치하고, 단계별로 변하는 세부 사항은 마지막에 배치하여 캐시가 무효화되지 않도록 하세요.

4. 모든 것을 비동기(asynchronous)로 배치(Batch) 처리하세요.

배치 API(Batch API)는 입력과 출력 모두 50% 할인됩니다. 지금 당장 답변이 필요하지 않은 모든 작업은 절대 직접 가격(direct prices)을 지불해서는 안 됩니다. 이것만으로도 비대화형(non-interactive) 워크로드의 비용을 절반으로 줄일 수 있습니다.

5. 에이전트 루프(agent loops)에 가시적인 예산을 부여하세요.

max_tokens는 모델이 인지하지 못하는 하드 캡(hard cap)이므로, 사고 도중에 끊길 수 있습니다. 작업 예산(task budget)을 부여하면 Fable 5가 스스로 속도를 조절할 수 있는 실시간 카운트다운을 제공하게 되어, 토큰을 낭비하거나 잘리는 대신 깔끔하게 작업을 마칠 수 있습니다.

6. Fable 5가 필요하지 않은 작업은 하위 단계로 라우팅(Route)하세요.

가장 비용이 많이 드는 습관은 모든 작업에 가장 비싼 모델을 사용하는 것입니다. 간단한 작업은 Sonnet이나 Haiku로 보내세요. Fable 5는 출력 100만 토큰당 50달러의 비용을 실제로 정당화할 수 있는 장기적이고(long horizon) 중요한(high stakes) 작업에만 아껴두세요.

이 모델은 조절 노브(knobs)를 없애버렸습니다.
대신 모델이 되돌려준 것은, 여러분의 설정(setup) 품질 자체가 곧 비용 튜닝(cost tuning)이 되는 시스템입니다.

이 내용을 북마크하세요. @cyrilXBT를 팔로우하세요.
[IMG:1]