LLM 에이전트의 하네스 설계와 사후 학습(Post-Training) 간의 상호작용

도구 통합형 LLM 에이전트(Tool-integrated LLM agents)는 종종 하네스(harness) 내에 래핑되어 있습니다. 여기서 하네스란 어떤 도구가 노출될지, 도구들이 어떻게 설명될지, 그리고 각 단계별 관찰(per-step observation)에 어떤 보조 정보가 동반될지를 결정하는 스캐폴딩(scaffolding)을 의미합니다. 에이전트들은 일상적으로 사후 학습(post-trained)을 거치지만, 이러한 스캐폴딩은 일반적으로 고정된 엔지니어링 세부 사항으로 취급되며, 설계 노력은 학습이 필요 없는(training-free) 영역에 국한되어 왔습니다. 더욱이, 도구 환경과 작업(task)은 배포 시 자주 변화함에도 불구하고, 기존의 사후 학습 알고리즘은 정적인 환경을 가정합니다. 이러한 격차를 해소하기 위해, 우리는 $\texttt{ALFWorld}$를 확장하여 (i) 하네스를 제어 가능한 설계 차원으로 취급하고, (ii) 작업 및 도구 환경의 변화(shift) 하에서의 평가를 지원하도록 합니다. 이를 바탕으로, 우리는 하네스 설계가 분포 내(in-distribution) 및 분포 외(out-of-distribution, OOD) 설정 모두에서 사후 학습에 어떻게 영향을 미치는지 체계적으로 분석합니다. 우리는 하네스 인지적 사후 학습(harness-aware post-training)이 분포 내 성능을 향상시킬 뿐만 아니라, 에이전트가 OOD 설정에 견고하게 적응할 수 있도록 한다는 것을 실증적으로 보여줍니다. 최소한의 설계 노력만 투입된 하네스 하에서는, 더 강력한 도구 환경 변화가 발생할 때 사후 학습의 성능이 급격히 저하되며, 이는 이러한 변화 상황에서 하네스 인지적 사후 학습의 중요성을 더욱 강조합니다.