Tempus: Versal AI 에지용 시간 확장성 및 리소스 불변 GEMM 스트리밍 프레임워크

요약

본 기술 기사는 대형 언어 모델(LLMs)의 에지 배포 시 발생하는 컴퓨팅, 메모리, 전력 제약을 해결하기 위해 'Tempus'라는 새로운 GEMM 스트리밍 프레임워크를 제안합니다. Tempus는 AMD Versal AI SoC의 AIE 코어를 고정된 블록으로 사용하고, 데이터 타일링 및 그래프 실행을 통해 공간적 확장 대신 시간적 확장성을 달성하는 것이 핵심입니다. 이 접근 방식은 기존 SOTA 방법론 대비 월등히 높은 시스템 효율성과 리소스 절감 효과를 보여주며, 에지 LLM 추론에 지속 가능하고 확장 가능한 기반을 제공합니다.

핵심 포인트

• Tempus는 AMD Versal AI SoC의 AIE 코어를 활용하여 GEMM 연산 가속화에 초점을 맞춘 스트리밍 프레임워크이다.
• 기존 SOTA 방식이 공간적 스케일링(코어 수 증가)을 시도하는 반면, Tempus는 시간적 확장성(데이터 재사용 및 파이프라이닝)을 통해 리소스 제약 환경에서 효율성을 극대화한다.
• Tempus는 고속 캐스케이드 스트리밍과 데드락 없는 DATAFLOW 프로토콜을 사용하여 전송-컴퓨팅 중첩 및 PLIO 재사용을 최적화한다.
• 평가 결과, Tempus는 기존 선두 공간적 SOTA 대비 211.2배 높은 시스템 효율성(prominence factor)을 달성하며, 코어/전력/I/O 요구 사항을 크게 절감했다.