2026년 3월에 발표된 논문은 저자들이 '1/W 법칙(1/W law)'이라고 부르는 것을 도출했습니다. 이 법칙에 따르면, 서비스 컨텍스트 윈도우가 두 배로 늘어날 때마다 토큰당 와트(tokens per watt)는 절반이 됩니다. H100에서 Llama-3.1-70B를 실행했을 때, 4K 컨텍스트에서는 17.6 tok/W였지만 64K 컨텍스트에서는 1.50 tok/W에 그칩니다. 같은 실리콘임에도 불구하고, 순전히 컨텍스트 길이만으로 효율성이 약 12배나 떨어지는 것입니다 (arXiv:2603.17280). 에이전트(Agents)는 이 법칙을 가장 심하게 위반하는 워크로드입니다. 왜냐하면 도구 호출 루프(tool-calling loop)가 매 단계마다 누적된 전체 히스토리(history)를 재전송하기 때문입니다. 칩 설계자들은 2004년에 구조적으로 유사한 벽에 부딪혔고, 더 나은 트랜지스터 대신 전력 도메인(power domains), DVFS(Dynamic Voltage and Frequency Scaling), 그리고 클럭 게이팅(clock gating)으로 해결책을 제시했습니다. 이 개념이 에이전트 아키텍처로 이어지는 것은 사실입니다. 하지만 GPU 예산을 여기에 걸기 전에 알아야 할 특정한 문제점이 있습니다.

Read All