토큰당 와트: 컨텍스트 윈도우가 전력 결정인 이유

요약

논문은 컨텍스트 윈도우가 길어질수록 토큰당 와트(tokens per watt) 효율성이 급격히 떨어진다는 '1/W 법칙'을 제시합니다. 이는 H100에서 Llama-3.1-70B를 테스트한 결과, 컨텍스트 길이가 늘어날 때마다 효율이 절반으로 감소하는 현상입니다. 특히 에이전트의 도구 호출 루프는 이 법칙을 심하게 위반하여 전력 소모가 커집니다.

핵심 포인트

• 컨텍스트 윈도우 증가에 따라 토큰당 와트 효율성이 급격히 하락합니다 (1/W 법칙).
• H100에서 컨텍스트 길이가 늘어날수록 효율성 저하 폭이 매우 큽니다.
• 에이전트의 도구 호출 루프는 전체 히스토리를 재전송하여 전력 소모를 가중시킵니다.
• 과거 칩 설계자들이 직면했던 문제와 유사하며, 전력 관리 기법(DVFS 등)이 중요합니다.