대형 언어 모델 (LLM) 은 텍스트 생성 분야에서 놀라운 진전을 이루었으나, 여전히 생성적 글쓰기 작업 (generative writing tasks) 에서 어려움을 겪고 있습니다. 평가 측면에서 보면, 기존 벤치마크는 글쓰기 보상 모델 (writing reward models) 을 거칠게만 평가하며 특정 요구 사항의 관점에서 성능을 측정하지 못합니다. 학습 측면에서는 LLM-as-a-judge 접근 방식을 사용하거나 과립도가 낮은 (coarse-grained) 보상 모델을 훈련하는 등, 세밀한 요구 사항 준수 기반의 보상 모델링 (fine-grained requirement-adherence reward modeling) 이 부족합니다.

이러한 문제들을 해결하기 위해 우리는 글쓰기 보상 모델을 위한 세밀한 평가 파이프라인인 WEval 과 세밀한 강화학습 (RL) 훈련 프레임워크인 WRL 을 제안합니다. WEval 의 평가 데이터는 여러 작업 카테고리 및 요구 사항 유형을 포괄하여, 보상 모델의 순위와 금표 순위 (gold rankings) 간의 상관관계를 측정함으로써 글쓰기 보상 모델에 대한 체계적인 평가를 가능하게 합니다. WRL 은 지시사항 요구 사항을 선택적으로 제거함으로써 양성과 음성 샘플을 구성하여, 더 정밀한 보상 모델 훈련을 가능하게 합니다. 실험 결과, 우리의 모델은 다양한 글쓰기 벤치마크에서 상당한 개선을 보였으며 뛰어난 일반화 성능을 나타냈습니다. 코드와 데이터는 \href{https://github.com/Rainier-rq1/From_Coarse_to_Fine}{https://github.com/Rainier-rq1/From\_Coarse\_to\_Fine} 에서 공개되어 있습니다.