빌드 전 GPT-4 API 비용을 추정하는 방법

AI 기능을 구축하고 있다면, 가장 먼저 모델 선택이 아닌 토큰 (tokens)을 모델링해야 합니다. 가격 페이지에는 1,000 토큰당 요율이 표시되어 있지만, 실제 프롬프트 (prompt) 및 완료 (completion) 패턴에 따른 계산을 대신 해주지는 않습니다.

제가 가장 자주 보는 실수는 단 한 번의 "hello world" 호출로 비용을 추정하는 것입니다. 실제 사용량에는 세 가지 비용 계층이 있기 때문에 그 수치는 거의 항상 틀립니다: 시스템 프롬프트 (system prompts)에서 발생하는 입력 토큰 (input tokens), 모델 응답 (model responses)에서 발생하는 출력 토큰 (output tokens), 그리고 재시도 (retries), 로깅 (logging), 또는 루프 내의 반복 호출에서 발생하는 숨겨진 비용입니다.

입력 비용 (Input cost)은 시스템 프롬프트와 평균 사용자 메시지 길이를 계산한다면 보통 예측 가능합니다. 출력 비용 (Output cost)은 변동성이 숨어 있는 부분입니다. 이는 최대 응답 길이 (max response length), 온도 설정 (temperature settings), 그리고 앱이 상호작용당 여러 번의 모델 호출을 체이닝 (chaining) 하는지 여부에 따라 달라집니다.
...