EvoLM: 외부 감독 없이 자체 진화하는 언어 모델

요약

EvoLM은 외부 인간 주석이나 독점 API에 의존하지 않고 언어 모델이 자체적으로 평가 능력을 진화시키는 새로운 프레임워크입니다. 이 방법은 판례 생성기(case generator)를 통해 최적화된 판별적 기준을 만들고, 이를 기반으로 보상 신호를 구성하여 정책을 훈련합니다. EvoLM은 Qwen3-8B 모델과 OLMo3-Adapt 시리즈에서 GPT-4.1 및 기존 최고 성능의 보상 모델 대비 높은 성능 향상을 입증하며, 모델 자체의 평가 능력만으로도 강력한 자기 개선이 가능함을 보여줍니다.

핵심 포인트

• 외부 감독(human annotation, proprietary APIs) 없이 언어 모델을 훈련할 수 있는 혁신적인 방법론 제시.
• 모델 내부에서 '판례 생성기'를 통해 최적화된 판별적 기준(discriminative rubrics)을 구조화하고 이를 학습 신호로 활용함.
• 생성된 판례 조건부 점수를 보상으로 사용하여 정책을 훈련함으로써, 모델의 평가 능력과 성능이 동시에 진화하도록 함 (Co-evolving).
• 실제 실험에서 GPT-4.1 및 기존 최고 수준의 보상 모델 대비 우수한 성능 향상을 입증함.
• 모델 자체의 평가 능력을 활용하는 것이 미래 LLM 개발의 중요한 방향임을 시사함.