순차적 의사결정(Sequential Decision-Making)을 위한 대규모 언어 모델: 지도 미세 조정(SFT)을 통한 인컨텍스트 학습

요약

본 논문은 대규모 언어 모델(LLMs)의 순차적 의사결정 능력을 탐구하며, 특히 마르코프 결정 과정(MDPs), 부분 관측 가능 MDP(POMDPs) 등 복잡한 환경에서의 활용에 초점을 맞춥니다. 연구진은 오라클 레이블링된 궤적 데이터로부터 소수의 예시만으로 의사결정을 수행하도록 LLMs를 지도 미세 조정(SFT)합니다. 이 프레임워크는 SFT를 통해 정책의 유연한 모방을 가능하게 하며, 이론적으로는 어텐션 레이어를 활용하여 최적 Q-함수를 추정하는 방식으로 해석됩니다.

핵심 포인트

• LLMs의 인컨텍스트 학습(ICL) 능력을 순차적 의사결정 환경(MDPs, POMDPs 등)에 적용하여 연구했습니다.
• 오프라인, 오라클 레이블링된 궤적 데이터를 사용하여 LLM을 지도 미세 조정(SFT)함으로써 정책의 모방 능력을 강화합니다.
• 제안된 프레임워크는 소수의 예시만으로 복잡한 의사결정 과정을 수행할 수 있도록 합니다.
• 이론적으로, SFT를 거친 모델은 어텐션 레이어를 통해 최적 Q-함수를 암묵적으로 추정하는 것으로 해석됩니다.