LLMs가 LLM을 개선하다: 테스트 시간 스케일링(Test-Time Scaling)을 위한 에이전트적 탐색

요약

본 논문은 대규모 언어 모델(LLM)의 성능을 향상시키는 테스트 시간 스케일링(Test-time scaling, TTS) 기법에 대한 새로운 접근 방식인 AutoTTS를 제안합니다. 기존 TTS 전략들이 수작업으로 설계되어 탐색 공간이 제한적이었던 문제를 해결하기 위해, AutoTTS는 LLM이 최적의 자원 할당을 자동으로 발견할 수 있는 환경 기반 프레임워크를 제공합니다.

핵심 포인트

• 테스트 시간 스케일링(TTS)은 LLM 성능 향상에 효과적인 방법이지만, 기존 전략들은 수동 설계에 의존하여 탐색 공간이 제한적이다.
• AutoTTS는 TTS 휴리스틱을 개별적으로 설계하는 대신, 최적의 자원 할당 전략이 자동으로 발견되는 환경 기반 프레임워크를 제공한다.
• 제안된 AutoTTS 환경은 제어 공간(control space)을 다루기 쉽고, 검색에 필요한 저렴하고 빈번한 피드백을 제공하도록 설계되었다.