Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MINE은 대규모 언어 모델(LLMs)의 단일 스트림 추론 속도를 높이는 손실 없는 엔트로피 코딩 기반 엔진입니다. 메모리 바운드 문제를 해결하기 위해 양자화 후 가중치의 비균일 분포를 활용하는 것이 핵심입니다. vLLM에 플러그인 형태로 통합되어, Llama~3.1~8B~Instruct 모델에서 GPU별로 상당한 속도 향상을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 대규모 언어 모델(LLMs)의 단일 스트림 추론 속도를 가속화하는 손실 없는 엔트로피 코딩 접근 방식인 MINE (Memory-efficient INference Engine)을 제시합니다. 기존의 손실 없는 압축 방법들은 exttt{BF16}과 같은 특정 데이터 타입에 대해서만 속도 향상을 제공하며 추가적인 가정(assumptions)이 필요합니다. 단일 스트림 디코딩은 메모리 바운드(memory-bound)가 강한데, 이는 생성되는 토큰마다 모든 가중치(weight)를 메모리에서 스트리밍해야 하며 로컬 또는 저지연 배포 환경에서는 배치 처리(batching)가 불가능하기 때문입니다. MINE의 핵심은 이전 버전인 dtANS를 LLM 추론 요구 사항에 맞게 조정된 GPU 엔트로피 코딩 방식인 dtANS-LLM입니다. 이는 양자화(quantization) 후에도 지속되는 가중치의 비균일 분포(non-uniform distribution)를 활용하며, 압축률과 디코딩 비용 사이의 트레이드오프(trade-off)를 제공하는 하이퍼파라미터들을 노출합니다. 우리는 모델 크기와 디코딩 지연 시간 사이의 파레토 프론트(Pareto front)를 얻기 위해 각 텐서와 GPU에 대해 이 매개변수들을 자동 조정(auto-tune)합니다. MINE은 vLLM에 플러그인 형태로 통합되어 주어진 메모리 예산에 가장 적합한 커널 구성을 선택합니다. EntQuant 체크포인트가 적용된 Llama3.18BInstruct 모델에서, MINE은 RTX4060Ti와 RTX5090 상에서 각각 2.24비트 및 3.43비트의 유효 비트율(effective bitrates)로 2.52$ imes$ 및 1.48$ imes$의 속도 향상을 달성합니다. MINE은 오픈 소스로 이용 가능합니다.