LazyWeights: 온디맨드(Decode-on-Demand) 에지 LLM 구현

요약

LazyWeights는 에지 장치에서 메모리 제약을 극복하기 위해 개발된 온디맨드 LLM 구현 방식입니다. 기존 양자화 형식을 유지하면서 코드를 압축하고 Huffman 코딩을 통해 필요한 가중치를 디코딩합니다. 이를 통해 Jetson Nano 등 에지 환경에서 모델 크기를 줄이고, 지연 시간 및 에너지 소비를 크게 개선할 수 있습니다.

핵심 포인트

• LazyWeights는 Huffman 코딩으로 LLM 가중치를 압축하여 메모리 효율을 높입니다.
• ASIC 디코더 유닛은 Orin의 지연 시간과 에너지 소비를 최대 38%까지 줄여줍니다.
• Jetson Nano에서 기존 방식 대비 토큰당 처리 시간이 대폭 단축되었습니다.
• GPU 커널 변경 없이 DRAM에는 코드화된 바이트만 이동하게 합니다.