적은 토큰으로 더 많은 성과를 내는 방법: 효율적인 코딩 에이전트를 위한 계층적 강화학습

최근 코딩 에이전트는 개발 환경과의 다중 턴(multi-turn) 상호작용을 통해 복잡한 작업을 해결하는 실세계 소프트웨어 엔지니어링(SWE) 시나리오의 지배적인 패러다임으로 부상했습니다. 하지만 환경과의 빈번한 상호작용은 필연적으로 상당한 토큰 오버헤드를 초래하여 높은 사용 비용과 지연 시간을 야기합니다. 최근 연구들은 추론 시간(inference time)에서 컨텍스트 조작 및 상호작용 제한을 통해 토큰 사용량을 줄이는 방안을 탐구했지만, 이러한 접근 방식은 토큰 효율성을 개선하는 데 초점을 맞추는 반면 작업 관련 정보를 폐기할 위험을 간과하여, 해결률(resolution rate)과 토큰 효율성 사이의 균형을 잡는 데 어려움을 겪고 있습니다. 본 논문에서는 이러한 한계에서 벗어나, 즉 유망한 해결 성능을 갖춘 토큰 효율적인 코딩 에이전트를 훈련하는 보다 일반적인 패러다임을 연구하며, 이는 매우 실용적이면서도 덜 탐구된 문제입니다. 이를 위해 우리는 SWE 시나리오에서 두 가지 핵심 관찰 결과를 밝힙니다: i) 효율성 변화(Efficiency Variation): 적은 토큰으로도 성공적인 해결이 가능할 수 있습니다; ii) 엔트로피 상관관계(Entropy Correlation): 비생산적인 행동은 턴 레벨의 엔트로피와 관련이 있습니다. 이러한 관찰에 동기를 부여받아, 우리는 HERO라는 새로운 강화학습(RL) 프레임워크를 제안합니다. 구체적으로, HERO는 정책 최적화 과정에서 토큰 효율성보다 작업 해결을 우선시하며, 궤적(trajectory) 및 턴 레벨 모두에서 효율적인 추론 패턴을 장려합니다. SWE-bench Verified와 SWE-bench Multilingual에 대한 광범위한 실험은 HERO가 기존의 코딩 에이전트 및 강화학습 방법들과 비교하여 해결률과 토큰 효율성 사이에 유리한 균형을 달성함을 입증했습니다.