Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ELiTeFormer는 FPGA 배포를 위해 하이브리드 선형 어텐션과 초저정밀도(ternary) 선형 투영을 결합한 새로운 Transformer 아키텍처입니다. 알고리즘과 하드웨어 아키텍처를 공동 설계하여 모델 가중치와 KV 캐시를 획기적으로 압축하고 연산 효율을 극대화했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Transformer 블록은 대규모 언어 모델 (LLM)에서 널리 사용되지만, 까다로운 연산 및 메모리 요구 사항으로 인해 배포 시 어려움을 초래합니다. 기존 연구들은 일반적으로 어텐션 메커니즘 (attention mechanisms) 또는 피드포워드 네트워크 (FFNs)를 개별적으로 최적화해 왔으나, 하드웨어 (HW) 아키텍처 측면에서 하드웨어 가속을 공동 설계하여 두 구성 요소를 함께 다룬 사례는 거의 없습니다. 본 논문에서는 FPGA (field-programmable gate array) 배포를 위해 특별히 공동 설계된, 하이브리드 선형 어텐션 (hybrid linear attention)과 초저정밀도 (ternary) 선형 투영 (linear projections)을 통합한 최초의 Transformer 모델 아키텍처인 ELiTeFormer (Efficient Linear Ternary Transformer)를 제안합니다. ELiTeFormer는 LLaMA 3와 비교했을 때 경쟁력 있는 정확도 (MMLU 벤치마크에서 31.9%, BitNet b1.58의 3.0% 이내)를 유지하면서도, 모델 가중치 10배 압축 및 키-값 (KV) 캐시 12.8배 압축을 달성합니다. 우리의 핵심적인 아키텍처 기여는 비트마스킹 (bitmasking) 연산을 통해 ternary 선형 투영에서의 모든 곱셈을 제거하는 새로운 프로세싱 엘리먼트 (PE) 마이크로 아키텍처이며, 이를 통해 전용 디지털 신호 처리 (DSP) 블록을 완전히 피함으로써 자원 사용량을 크게 줄였습니다. 우리는 고수준 합성 (HLS) 흐름을 사용하여 Xilinx VCK5000 Versal 보드를 대상으로 ELiTeFormer를 시뮬레이션, 합성 및 배포합니다. 블록 수준 시뮬레이션 결과, 표준 구현과 비교하여 FFN 연산에서 9.6배, 어텐션에서 4.4배의 속도 향상을 보여주었습니다. 엔드 투 엔드 (End-to-end) 배포 시, 긴 컨텍스트 길이에서 NVIDIA A100 그래픽 처리 장치 (GPU)를 사용한 LLaMA 3보다 최대 3.9배 낮은 지연 시간과 3.2배 더 나은 에너지 효율을 달성했습니다. 이는 선형 어텐션과 ternary 양자화 (quantization)를 결합한 최초의 FPGA 구현으로, 차세대 LLM 가속을 위한 알고리즘-아키텍처 공동 설계의 생존 가능성을 입증합니다.