32B 모델이 16GB GPU 예산 내에서 262K 컨텍스트를 유지하도록 자체 추론 엔진을 구축했습니다. 전체 실행 영상입니다.

요약

Blockway 팀은 장기 에이전트 세션에서 발생하는 VRAM 소모 문제를 해결하기 위해 자체 추론 엔진인 Agens Engine과 Volundr 모델을 개발했습니다. 이 엔진은 KV 캐시를 고정된 크기로 유지하고, 사용자가 지정한 GPU 메모리 예산 내에서 작동하여 대화 기록 전체를 다시 읽지 않아 효율성을 극대화합니다.

핵심 포인트

• VRAM 소모 문제를 해결하기 위해 자체 추론 엔진(Agens Engine)을 구축했습니다.
• 고정된 상태 크기를 유지하여 장기 에이전트 세션의 메모리 관리가 용이합니다.
• 사용자가 지정한 GPU 예산 내에서 작동하며, 긴 컨텍스트는 시스템 RAM으로 오버플로우됩니다.
• 16GB GPU 환경에서도 32B 모델을 효율적으로 구동할 수 있음을 입증했습니다.