Tempus: A Temporally Scalable Resource-Invariant GEMM Streaming Framework for

요약

본 기술 기사는 대규모 언어 모델(LLMs)의 엣지 배포 환경에서 필수적인 일반 행렬 곱셈(GEMM) 가속을 위한 새로운 프레임워크인 Tempus를 제안합니다. 기존 SOTA 프레임워크들이 공간적 스케일링에 의존하여 리소스 제한된 엣지 SoC에서 실패하는 문제를 해결하기 위해, Tempus는 고정된 계산 블록과 시간 기반의 스트리밍 및 데이터 타일링을 통해 자원 불변(Resource-Invariant)한 확장성을 달성합니다. 이 프레임워크는 AMD Versal AI Edge SoC에서 높은 성능(607 GOPS @ 10.677 W)과 함께 기존 방식 대비 월등히 낮은 전력 및 리소스 활용도를 입증하며, 엣지 LLM 추론을 위한 지속 가능한 기반을 제공합니다.

핵심 포인트

• Tempus는 엣지 SoC의 자원 제약 문제를 해결하기 위해 시간 기반(Temporally Scalable) GEMM 스트리밍 프레임워크를 제시한다.
• 기존 SOTA 방식이 공간적 스케일링에 의존하여 리소스 한계에 부딪히는 반면, Tempus는 고정된 코어 블록과 데이터 타일링을 통해 확장성을 확보한다.
• Tempus는 AMD Versal AI Edge SoC에서 607 GOPS를 달성하며, 기존 방식 대비 전력 효율성과 자원 절약 측면에서 압도적인 성능 우위를 보인다.
• 프레임워크의 핵심 기술로는 Initiation Interval (II) = 1을 보장하는 고속 캐스케이드 스트리밍과 데드락 없는 DATAFLOW 프로토콜이 있다.