ECO: 어텐션-FFN 분리 설계를 위한 에너지 중심 구성 최적화 LLM 서빙

요약

본 논문은 LLM 서빙 시 에너지 효율성을 극대화하기 위한 '에너지 중심 구성 최적화(ECO)' 방법을 제안합니다. ECO는 구조 인식 에너지 사전 분포와 비용 인지 베이지안 최적화를 결합하여, SLO를 충족하면서도 가장 낮은 에너지를 가진 구성을 탐색합니다. Qwen 및 DeepSeek 모델 테스트 결과, ECO는 서빙 에너지를 평균 40.5% 절감하고 출력 토큰률을 20.7% 증가시키는 효과를 보였습니다.

핵심 포인트

• ECO는 에너지 효율적인 LLM 서빙 구성을 탐색하는 새로운 방법론입니다.
• 비용 인지 베이지안 최적화를 통해 측정 비용과 SLO를 동시에 고려합니다.
• 실제 테스트에서 기준선 대비 평균 40.5%의 서빙 에너지를 절감했습니다.