이산 확산 및 자기회귀 언어 모델의 에너지 소비 분석

요약

본 논문은 LLM의 추론 과정에서 발생하는 에너지 소비 문제를 다루며, 자기회귀(AR) 모델과 확산 언어 모델(DLLMs) 간의 에너지 효율성을 비교 분석했습니다. 연구 결과, 긴 시퀀스 길이에서 확산 모델이 AR 모델보다 약 2배 높은 토큰당 에너지 효율성(J/토큰)을 보여주었습니다.

핵심 포인트

• 확산 언어 모델은 병렬 토큰 생성이 가능하여 유망한 대안으로 부상했습니다.
• 긴 시퀀스에서 확산 모델은 AR 모델 대비 약 2배 높은 에너지 효율성을 보였습니다.
• KV-cache는 긴 시퀀스에서 AR 모델의 에너지 소비를 50~70% 절감하는 이점이 있습니다.