기계 번역을 위한 참조 없는 강화학습 미세 조정: Seq2Seq 관점의 연구

요약

본 연구는 기존 Decoder-only LLM 중심의 강화학습 미세 조정 연구를 넘어, 인코더-디코더(Seq2Seq) 구조인 NLLB-200 모델에 GRPO를 적용한 사례를 다룹니다. 병렬 데이터 없이 LaBSE와 COMET-Kiwi를 활용한 하이브리드 참조 없는 보상 방식을 통해 13개 언어에서 일관된 성능 향상을 확인했습니다. 특히 데이터가 부족한 언어일수록 보상 판별력이 높아져 더 큰 성능 이득을 얻는다는 패턴을 입증했습니다.

핵심 포인트

• 인코더-디코더(Seq2Seq) 구조에 GRPO(Group Relative Policy Optimization)를 적용하여 기계 번역 성능을 개선함
• 병렬 데이터가 필요 없는 하이브리드 참조 없는 보상(Hybrid reference-free reward) 메커니즘 활용
• 데이터가 부족하거나 형태론적으로 복잡한 언어에서도 SFT(지도 미세 조정)와 경쟁할 만한 성능을 달성
• 베이스라인 성능이 낮고 보상 판별력이 높은 환경에서 가장 큰 성능 향상이 나타나는 패턴 확인