목표 조건 강화학습 기반의 지침 추종 계획 추출 프레임워크 (SuperIgor)

요약

본 글은 SuperIgor라는 새로운 프레임워크를 소개합니다. 이 방법론은 기존 방식처럼 미리 정의된 하위 작업에 의존하지 않고, 언어 모델(LLM)이 자체 학습 메커니즘을 통해 고수준 계획(high-level plans)을 생성하고 개선할 수 있게 합니다. 핵심은 강화학습 (RL) 에이전트가 생성된 계획을 따르면서 발생하는 피드백을 활용하여 LLM과 플래너가 상호 작용하며 함께 발전하는 코-트레이닝(co-training) 루프를 구축한다는 점입니다. 이를 통해 수동 데이터셋 주석 작업의 부담을 줄이고, 복잡한 환경에서도 높은 지침

핵심 포인트

• SuperIgor는 사전 정의된 하위 작업 없이 LLM이 자체 학습으로 고수준 계획을 생성하고 개선하는 프레임워크를 제공합니다.
• 핵심은 RL 에이전트가 수행 결과를 바탕으로 언어 모델(LLM)의 계획을 수정하고 최적화하는 반복적인 코-트레이닝 루프입니다.
• SuperIgor는 복잡한 동역학과 확률성(stochasticity)을 가진 환경에서 기존 방식보다 지침 준수율이 높고, 미지의 지침에 대한 강력한 일반화 성능을 입증했습니다.