자랑스러워하는 다소 빛나지 않는 작업을 공유합니다

요약

이 글은 OpenRouter 토큰 사용량을 약 35% 줄여 4000억 토큰 수준으로 낮춘, 비교적 눈에 띄지 않지만 중요한 엔지니어링 성과를 공유합니다. 이 개선 작업은 단순히 하나의 트릭이 아니라, 과도하게 큰 도구 결과 처리, 압축/오버플로우 복구, 백그라운드 및 서브 에이전트 컨텍스트 관리, 프롬프트 캐싱 등 여러 경로에 걸친 정교한 엔지니어링 노력이 결합된 결과입니다. 특히 저자는 '도구 결과(tool-result)'와 '오버플로우 경로' 개선에 중점을 두었으며, 팀원들과의 협업을 통해 시스템 전반의 효율성을 높였습니다.

핵심 포인트

• OpenRouter 토큰 사용량을 35% 절감하여 운영 비용 및 효율성을 크게 개선함 (4000억 토큰 수준).
• 성공적인 최적화는 도구 결과 처리, 오버플로우 복구, 컨텍스트 관리 등 여러 핵심 시스템 경로에 걸친 다층적인 엔지니어링 노력이 필요했음.
• 프롬프트 캐싱 및 압축 기술을 활용하여 반복되는 계산과 데이터 전송량을 줄이는 것이 중요함.
• 팀원 간의 전문 분야 분담(도구 결과, 캐시 경계/지문, 결정론적 정렬 등)이 복잡한 시스템 개선에 필수적임.