결과의 최적화를 통한 구성적 일반화 강화학습

요약

본 연구는 알려진 원시 요소들의 새로운 조합을 올바르게 해석하는 '구성적 일반화' 문제를 해결하기 위해 강화학습(RL)의 적용 가능성을 탐구했습니다. 기존의 감독식 미세 조정 방식은 전역적인 구성 구조를 포착하는 데 한계가 있어, 본 연구는 최종 결과에 대한 피드백을 활용하는 그룹 상대 정책 최적화(GRPO) 프레임워크를 제안합니다. 실험 결과, RL이 단순한 이진 보상뿐만 아니라 추가적인 구성 피드백을 제공하는 복합 보상을 통해 감독 학습보다 구성적 일반화를 효과적으로 개선함을 입증했습니다.

핵심 포인트

• 구성적 일반화는 알려진 요소들의 새로운 조합 해석 능력을 의미하며, 현재 AI의 주요 과제 중 하나이다.
• 기존의 지도 학습(Supervised Fine-Tuning) 방식은 전역적인 구성 구조를 포착하는 데 한계가 있다.
• 그룹 상대 정책 최적화(GRPO)는 최종 출력에 대한 피드백을 기반으로 모델을 최적화하여 구성적 일반화를 개선한다.
• 강화학습은 단순한 결과 보상 외에 '구성 피드백'을 제공하는 복합 보상을 통해 더 복잡하고 새로운 조합 유형에 효과적으로 일반화할 수 있다.