자랑스러워하는 다소 빛나지 않는 작업을 공유합니다
요약
이 글은 OpenRouter 토큰 사용량을 약 35% 줄여 4000억 토큰 수준으로 낮춘, 비교적 눈에 띄지 않지만 중요한 엔지니어링 성과를 공유합니다. 이 개선 작업은 단순히 하나의 트릭이 아니라, 과도하게 큰 도구 결과 처리, 압축/오버플로우 복구, 백그라운드 및 서브 에이전트 컨텍스트 관리, 프롬프트 캐싱 등 여러 경로에 걸친 정교한 엔지니어링 노력이 결합된 결과입니다. 특히 저자는 '도구 결과(tool-result)'와 '오버플로우 경로' 개선에 중점을 두었으며, 팀원들과의 협업을 통해 시스템 전반의 효율성을 높였습니다.
핵심 포인트
- OpenRouter 토큰 사용량을 35% 절감하여 운영 비용 및 효율성을 크게 개선함 (4000억 토큰 수준).
- 성공적인 최적화는 도구 결과 처리, 오버플로우 복구, 컨텍스트 관리 등 여러 핵심 시스템 경로에 걸친 다층적인 엔지니어링 노력이 필요했음.
- 프롬프트 캐싱 및 압축 기술을 활용하여 반복되는 계산과 데이터 전송량을 줄이는 것이 중요함.
- 팀원 간의 전문 분야 분담(도구 결과, 캐시 경계/지문, 결정론적 정렬 등)이 복잡한 시스템 개선에 필수적임.
제가 자랑스러워하는 다소 빛나지 않는 작업을 공유하고 싶습니다.
3 월 말부터 시작해 4 월 7 일 OpenClaw 릴리스 즈음에 착지하면서, 우리는 의도적으로 OpenRouter 토큰 사용량 총계를 약 35% 줄여 약 4000 억 토큰으로 낮췄습니다.
…
이것은 하나의 트릭이 아니었습니다. 에이전트가 하루 종일 겪는 모든 경로에 걸친 훌륭한 엔지니어링이었습니다: 과도하게 큰 도구 결과, 압축/오버플로우 복구, 백그라운드 및 서브에이전트 컨텍스트, 프롬프트 캐싱 등.
저의 역할은 주로 도구 결과 (tool-result) / 오버플로우 경로였습니다. 빈센트는 캐시 경계와 지문 (fingerprints) 을 담당했고, 보리스는 결정론적인 도구 정렬과 캐시를 보존하는 압축을 고쳤습니다. 아얀은 서브에이전트 라이트 컨텍스트와 근처 컨텍스트 형성 수정에 도움을 주었습니다.
관련 커밋은 답글에 있습니다.
이 작업 뒤의 관련 커밋:
3 월 25 일, 보리스 체르니 (Boris Cherny): 6aa591ba56 - 최신 도구 결과를 먼저 압축하여 프롬프트 캐시 접두사를 보존합니다.
3 월 27 일, 타크 호프만 (Tak Hoffman): d11dc8feba - 카탈로그에서 플러그인 도구 설명을 요약합니다.
4 월 3 일, 타크 호프만 (Tak Hoffman): 46da764886 - 프롬프트 시간 도구 결과 가드 제거; 추가
AI 자동 생성 콘텐츠
본 콘텐츠는 X @steipete (OpenAI)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기