Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Atik은 RISC-V 기반의 오픈 소스 RoCC 가속기로, 트랜스포머 추론을 위해 설계되었습니다. 공유 고정 소수점 MAC 메시를 활용하여 행렬 곱셈과 어텐션을 효율적으로 처리합니다. 시뮬레이션 결과, 8x8 구성에서 최대 matmul 및 어텐션 속도 향상을 크게 달성하며 높은 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기트랜스포머 추론(Transformer inference)은 데이터 의존적인 소프트맥스 정규화(softmax normalization)를 포함하여 밀집 행렬 곱셈(dense matrix multiplication)과 어텐션(attention)을 반복적으로 호출합니다. 우리는 Atik을 소개합니다. 이는 RocketChip용 오픈 소스 RoCC 가속기로서, 하나의 공유 고정 소수점 MAC 메시(fixed-point MAC mesh)를 통해 행렬 곱셈과 밀집 어텐션을 실행합니다. Atik은 BF16 텐서(tensors)를 받아 반환하며, 전체 점수 행렬을 구현하지 않는 스트리밍 온라인 소프트맥스 스케줄(streaming online-softmax schedule)을 사용하고, 작은 디스크립터 기반 ABI(Application Binary Interface)를 통해 호출됩니다. 우리는 FireSim에서 세 가지 메시를 사이클별로 평가하고 독립적인 Sky130 물리 설계 면적(physical-design area)을 보고합니다. 기록된 137개의 FireSim 테스트 레코드 전반에 걸쳐 모든 테스트는 출력 불일치(output mismatches) 보고가 전혀 없이 벤치마크 허용 오차를 통과했습니다. 동일한 스칼라 Rocket BF16 참조 대비, 8x8 구성은 31.5배의 최대 행렬 곱셈(matmul) 속도 향상과 225.8배의 최대 어텐션 속도 향상을 달성합니다. 직접 측정된 가속기-커널 사이클을 사용한 단일 레이어 워크로드 기반 C 모델에 대한 하이브리드 투영(Hybrid projections)은 각각 ViT, TinyBERT, GPT-2의 프리필(prefill) 작업에 대해 44.2배, 77.1배, 32.3배의 총체적인 속도 향상을 제공합니다. 이는 전체 모델 하드웨어 재현(full-model hardware replays)은 아닙니다.