StoryAlign: 스토리 생성을 위한 보상 모델 평가 및 훈련

요약

본 논문은 대형 언어 모델(LLMs)이 생성한 스토리가 인간의 내러티브 구조나 선호도에 미치지 못하는 문제를 해결하기 위해, 스토리 생성 과정에서 인간의 선호도를 효과적으로 모델링하는 방법을 제시합니다. 연구진은 첫 번째 벤치마크인 StoryRMB를 소개하고, 기존 보상 모델들이 인간 선호 스토리를 정확하게 선택하는 데 어려움을 겪는 한계를 발견했습니다. 이를 극복하기 위해 약 10만 개의 고품질 스토리 선호 쌍으로 훈련된 고급 보상 모델 'StoryReward'를 개발했으며, 이 모델은 StoryRMB에서 최고 성능(SoTA)을 달성하고 실제 응용 분야에서도 뛰어난 성능을 입증했습니다.

핵심 포인트

• 스토리 생성의 핵심 과제는 LLM이 인간과 정렬된 복잡한 내러티브 구조와 선호도를 갖도록 하는 것입니다.
• 연구진은 스토리 선호도 평가를 위한 최초 벤치마크인 StoryRMB를 구축하여 학계에 기여했습니다.
• 기존 보상 모델의 한계를 극복하기 위해 대규모 데이터셋(10만 쌍)으로 훈련된 'StoryReward'라는 고급 보상 모델을 개발했습니다.
• StoryReward는 스토리 생성 과정에서 인간 선호도와 가장 잘 정렬된 스토리를 선택하는 최고 성능(SoTA)을 달성했습니다.