AI 추론 과정에서 병목은 점차 프롬프트 처리 단계보다 토큰 생성 단계에서 더 두드러지는 경향을 보이고 있습니다.

프롬프트 처리는 사용자가 입력한 프롬프트를 처리해 모델이 문맥을 이해하는 단계입니다.

이 단계에서는 많은 토큰을 동시에 계산하므로 GPU의 병렬 연산 성능이 중요합니다.

반면 토큰 생성은 모델이 답변을 한 토큰씩 만들어내는 단계입니다.

이 과정에서는 매 토큰 생성 시 모델 가중치를 참조하고, 이전 문맥 정보를 저장한 KV Cache를 반복적으로 읽어와야 합니다.

특히 긴 출력, 긴 컨텍스트, 동시 요청이 많은 추론 환경에서는 이 반복적인 메모리 접근이 성능을 제한하는 핵심 요인으로 부상합니다.

따라서 토큰 생성 구간에서는 연산 성능뿐 아니라 메모리 용량과 메모리 대역폭이 중요한 제약 요인으로 작용합니다.

AI 에이전트가 확산될 경우 이러한 경향은 더욱 강화될 가능성이 있습니다.

에이전트는 긴 대화 이력, 작업 맥락, 검색 결과, 도구 사용 기록 등을 지속적으로 참조하기 때문입니다.

그 결과 KV Cache 사용량은 증가할 수 있으며, 여러 에이전트가 동시에 실행될수록 필요한 메모리 자원도 커질 가능성이 있습니다.

결국 AI 추론의 중심축은 단순히 더 많은 연산 성능을 확보하는 것에서, 더 많은 문맥 정보를 효율적으로 저장하고 빠르게 불러올 수 있는 메모리 인프라를 구축하는 방향으로 이동하고 있다는 분석이 제기되고 있습니다. $DRAM