Netflix 직원이 자신의 AI 비용을 확인했습니다.

Netflix의 한 직원이 자신의 AI 청구서를 열어보았습니다.

한 달에 280달러였습니다.

그는 이를 110달러로 낮추는 방법을 찾아냈습니다.

그리고 그 해결책을 무료로 공개했습니다.

...

그의 이름은 Tejas Chopra입니다. Netflix의 시니어 소프트웨어 엔지니어(Senior software engineer)이며, 2020년부터 근무해 왔습니다. Carnegie Mellon 석사 학위 소지자입니다. 그 전에는 Box, Apple, Samsung에서 근무했습니다. TEDx 연사이며, Bay Area에 거주합니다.

이것은 Netflix의 제품이 아닙니다. 그가 직접 만든 사이드 프로젝트(side project)입니다.

그는 어느 날 청구서를 열어보고 자신이 실제로 무엇에 대해 비용을 지불하고 있는지 살펴보았습니다.

그것은 그의 질문도, 그의 코드도 아니었습니다.

도구들이 모든 질문과 함께 조용히 함께 보내는 것들이었습니다. 단 세 줄만 필요할 때 보내는 긴 데이터베이스 행(database rows) 목록. 단 두 줄만 필요할 때 보내는 거대한 에러 로그(error logs) 블록. 모델이 이미 알고 있는 거대한 컴퓨터 코드 뭉치들.

그의 블로그에 적힌 자신의 말에 따르면: 청구서의 90%는 그에게 필요하지 않은 토큰(tokens)이었습니다.

그래서 그는 Headroom이라는 작은 프로그램을 작성했습니다.

이 프로그램은 그의 컴퓨터와 AI 사이에 위치합니다. 어떤 질문이 모델에 도달하기 전에, Headroom이 불필요한 정보(junk)를 잘라냅니다. 모델은 더 작고 깨끗한 버전을 받게 됩니다. 답변은 동일하게 돌아옵니다.

그의 청구서는 280달러에서 110달러로 줄어들었습니다. 이야기는 이것이 전부입니다.

그 후 그는 코드를 인터넷에 무료로 올렸습니다.

사람들이 얻고 있는 수치들:

• 기존에 17,765 단어를 보내던 코드 검색(code search)은 이제 1,408 단어를 보냅니다.
• 기존에 65,694 단어를 보내던 디버깅 세션(debugging session)은 이제 5,118 단어를 보냅니다.
• 기존에 78,502 단어를 보내던 작업은 이제 41,254 단어를 보냅니다.

답변은 동일합니다. 정확도도 동일합니다. 벤치마크(benchmarks)는 README에 있습니다.

이 프로그램은 사람들이 실제로 사용하는 도구들과 함께 작동합니다:

headroom wrap claude
headroom wrap cursor
headroom wrap copilot
headroom wrap aider
headroom wrap codex

마지막 항목이 이번 주에 중요합니다. GitHub Copilot은 6월 1일에 모든 요금제를 토큰 기반 과금(token-based billing) 방식으로 전환했습니다. Cursor도 1년 전에 동일하게 전환했습니다. 이제 당신이 던지는 모든 질문은 실제 비용을 발생시킵니다.

출시된 지 5개월 되었습니다. Apache-2.0 라이선스입니다. 15,000개 이상의 스타(stars)를 기록 중입니다. v0.23.0 버전이 이틀 전에 배포되었습니다.

그는 The Register와의 인터뷰에서 사용자들이 총 700,000달러 이상을 절약했다고 밝혔습니다. 그는 Open Source Summit에서 강연을 진행했습니다. Netflix 내부의 여러 팀이 이를 사용하고 있습니다.

모델이 실제로 필요로 하는 것에 대해서만 비용을 지불하세요. 노이즈(noise)에 대해서는 지불하지 마세요.

(링크는 댓글에 있습니다)