목표 조건 강화학습 기반의 지침 추종 계획 추출 프레임워크 (SuperIgor)

본 논문은 지침 추종 작업(instruction-following tasks)을 위한 새로운 프레임워크인 SuperIgor를 제안합니다. 이 방법론의 가장 큰 특징은 기존 연구들이 특정 하위 작업(predefined subtasks)에 의존했던 한계를 극복했다는 점입니다.

SuperIgor는 언어 모델(LLM)이 스스로 학습하는 메커니즘을 통해 고수준 계획(high-level plans)을 생성하고 정교하게 다듬을 수 있도록 합니다. 이로 인해 연구자들이 직접 대규모 데이터셋에 주석을 달아야 하는 (manual dataset annotation) 부담을 크게 줄일 수 있습니다.

SuperIgor의 핵심은 '반복적인 코-트레이닝(iterative co-training)' 과정입니다. 이 과정에서 두 가지 요소가 상호작용합니다:

1. RL 에이전트: 생성된 계획에 따라 실제 작업을 수행하고 결과를 도출합니다.
2. 언어 모델 (LLM) / 플래너: RL 에이전트의 실행 결과와 선호도(preferences) 피드백을 받아, 초기 계획을 지속적으로 수정하고 개선합니다.

이러한 순환적인 피드백 루프(feedback loop)가 구축되면서, 에이전트와 계획 수립기(planner) 모두가 공동으로 발전하게 됩니다. 연구진은 이 프레임워크를 풍부한 동역학(rich dynamics)과 확률성(stochasticity)을 가진 환경에서 검증했습니다.

그 결과, SuperIgor로 구현된 에이전트들이 기존의 기준선 방법들(baseline methods)보다 지침을 훨씬 더 엄격하게 준수하는 것을 보여주었습니다. 나아가, 이 프레임워크가 이전에 접해보지 못한 새로운 종류의 지침(unseen instructions)에 대해서도 뛰어난 일반화 성능(strong generalization)을 입증하며 그 우수성을 입증했습니다.

결론적으로 SuperIgor는 LLM 기반 에이전트가 복잡하고 동적인 환경에서 인간의 지시를 효과적으로 따르도록 돕는 강력한 자율 계획 및 학습 시스템입니다.