Edge 디바이스를 위한 보장된 정규화를 갖는 하드웨어 효율적 Softmax 및 Layer Normalization

요약

본 논문은 트랜스포머 모델에서 높은 하드웨어 비용을 차지하는 Softmax와 Layer Normalization(LayerNorm) 연산을 Edge 디바이스에 최적화한 아키텍처를 제안합니다. 기존 연구들이 순위 기반 작업에 초점을 맞춘 것과 달리, 본 설계는 점수 기반 NLP 및 생성형 AI 응용 프로그램에 필수적인 '보장된 정규화'를 유지하면서 하드웨어 효율성을 극대화했습니다. Verilog HDL로 구현된 이 아키텍처는 기존 대비 면적을 크게 줄이면서도 높은 정확도를 유지하는 것으로 입증되었습니다.

핵심 포인트

• 트랜스포머 모델의 Softmax 및 LayerNorm 연산은 Edge 디바이스에서 주요 하드웨어 병목 지점이다.
• 본 연구는 점수 기반(score-oriented) 작업에 필수적인 '보장된 정규화'를 유지하는 데 중점을 두었다.
• 제안된 아키텍처는 Verilog HDL로 구현되었으며, Samsung 28nm CMOS 공정에서 합성되었다.
• Softmax와 LayerNorm 모두 기존 대비 면적을 최대 11배 및 14배까지 줄이는 높은 하드웨어 효율성을 달성했다.