비용 인식 학습 (Cost-Aware Learning)

요약

본 논문은 총 비용을 최소화하면서 목표 오차를 달성하는 '비용 인식 학습(Cost-Aware Learning)' 문제를 다룹니다. 연구진은 볼록 함수에 대한 비용 인식 확률적 경사 하강법 알고리즘과 이를 위한 이론적 복잡도 분석을 제시했습니다. 나아가, 이 개념을 언어 모델 기반 강화학습(RL)에 적용하여, 정책 계산 비용이 시퀀스 길이에 따라 변동하는 문제를 해결하기 위해 '비용 인식 GRPO'를 제안하고, 대규모 LLM에서 토큰 사용량을 최대 30% 절감하면서 성능을 유지함을 입증했습니다.

핵심 포인트

• 비용 인식 학습(Cost-Aware Learning)은 총 비용 최소화와 목표 오차 달성을 동시에 추구하는 최적화 문제입니다.
• 볼록 함수에 대한 비용 인식 확률적 경사 하강법 알고리즘을 제안하고, 관련 비용 복잡도 및 하한 이론을 수립했습니다.
• 언어 모델 기반 강화학습(RL)의 정책 계산 비용 문제를 해결하기 위해 '비용 인식 GRPO'를 개발했습니다.
• 실험 결과, 대형 언어 모델(LLM)에서 이 접근법은 토큰 사용량을 최대 30% 줄이면서 기본 성능을 유지하거나 능가함을 보여주었습니다.