상태가 병목이 아니다: 트라이모드 멀티캐스트 메시 기반의 페이지된 상태 Gated-DeltaNet 타일, RTL부터 실리콘까지 비트 단위
요약
본 논문은 선형 어텐션 언어 모델의 순환 상태를 처리하는 하드웨어 타일을 Agilex 5 FPGA에 구축하고 성능을 분석했습니다. 상태가 온칩 메모리를 초과할 때 발생하는 페이징 문제를 다루었으며, 디코딩 비용에서 가중치 전달(Weight delivery)이 병목임을 입증했습니다. 따라서 상태 페이징은 엣지 환경의 해당 모델에 실용적입니다.
핵심 포인트
- Gated DeltaNet 하드웨어 타일을 Agilex 5 FPGA에 구현함.
- 디코딩 성능은 순환 상태가 아닌 가중치 전달에 의해 제한됨.
- 상태 페이징은 전체 디코딩 비용의 최대 11.2%를 차지하여 실용적임.
- 고정 소수점 연산의 비트 단위 정확도를 성공적으로 검증함.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기