가변 추론: 추론 시간 학습을 위한 LLM 가속기 아키텍처
요약
본 연구는 LLM의 추론 시간 학습(ITL)을 위해 Learning While Serving (LWS)라는 새로운 하드웨어 아키텍처를 제안합니다. LWS는 지연 시간에 민감한 예측과 유연성이 필요한 학습 과정을 컴퓨팅 자원에서 공유하여, 순수 예측 처리량을 유지하면서도 ITL의 품질 이점을 효과적으로 구현했습니다.
핵심 포인트
- LWS는 예측(Prediction)과 학습(Learning)을 하드웨어에서 공유하는 아키텍처입니다.
- 지연 시간에 민감한 예측 처리량 유지가 가능합니다.
- TTT-E2E 3B 모델의 128K 토큰에 대해 높은 품질 보존율(99.3%)을 달성했습니다.
- 기존 최고 동시 실행 대비 1.3배의 처리량을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기