본문으로 건너뛰기
arXiv논문2026. 11. 16. 19:33
상태가 병목이 아니다: 트라이모드 멀티캐스트 메시 기반의 페이지된 상태 Gated-DeltaNet 타일, RTL부터 실리콘까지 비트 단위 대표 이미지

상태가 병목이 아니다: 트라이모드 멀티캐스트 메시 기반의 페이지된 상태 Gated-DeltaNet 타일, RTL부터 실리콘까지 비트 단위

원문 발행 2026. 11. 14. 02:01원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

본 논문은 선형 어텐션 언어 모델의 순환 상태를 처리하는 하드웨어 타일을 Agilex 5 FPGA에 구축하고 성능을 분석했습니다. 상태가 온칩 메모리를 초과할 때 발생하는 페이징 문제를 다루었으며, 디코딩 비용에서 가중치 전달(Weight delivery)이 병목임을 입증했습니다. 따라서 상태 페이징은 엣지 환경의 해당 모델에 실용적입니다.

핵심 포인트

  • Gated DeltaNet 하드웨어 타일을 Agilex 5 FPGA에 구현함.
  • 디코딩 성능은 순환 상태가 아닌 가중치 전달에 의해 제한됨.
  • 상태 페이징은 전체 디코딩 비용의 최대 11.2%를 차지하여 실용적임.
  • 고정 소수점 연산의 비트 단위 정확도를 성공적으로 검증함.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0