VitaLLM: 의존성 인식 스케줄링을 갖춘 다목적 초소형 3가치 LLM 가속기

요약

VitaLLM은 자원 제약이 있는 엣지 디바이스에서 대규모 언어 모델(LLMs)을 효율적으로 구동하기 위한 전용 하드웨어-소프트웨어 공동 설계 가속기입니다. 이 아키텍처는 3가치 양자화 LLM의 계산 및 대역폭 병목 현상을 해결하기 위해 TINT-Core와 BoothFlex-Core를 결합한 이종 코어 전략을 사용합니다. 특히, 의존성 인식 스케줄링(Dependency-Aware Scheduling)과 Key-Value 캐시 최적화 메커니즘을 도입하여 전력 효율성과 처리량을 극대화했습니다.

핵심 포인트

• VitaLLM은 엣지 디바이스용 초소형 LLM 가속기로, 메모리 대역폭 및 전력 소모 문제를 해결합니다.
• TINT-Core와 BoothFlex-Core를 결합한 이종 코어 전략을 통해 계산(Prefill)과 대역폭(Decode) 병목 현상을 모두 효율적으로 처리합니다.
• 의존성 인식 스케줄링(Dependency-Aware Scheduling) 프레임워크는 비선형 연산 지연을 숨기고 전반적인 성능을 향상시킵니다.
• Key-Value 캐시 최적화 및 초소형 면적 구현으로 높은 에너지 효율성(17.4 TOPS/mm$^2$/W)을 달성했습니다.