백트랜슬레이션 증강 직접 선호 최적화를 통한 신경 기계 번역

요약

본 논문은 기존의 지도 학습 방식에 의존하는 신경 기계 번역(NMT) 시스템이 가지는 지속적인 오류 문제를 해결하기 위해 강화 학습 기반의 후학습 패러다임을 제안합니다. 특히, 일반 텍스트 코퍼스와 전문가 피드백만으로 반복적인 개선이 가능한 새로운 프레임워크를 소개하며, 이 접근 방식을 직접 선호 최적화(DPO) 기법을 사용하여 구현했습니다. 실험 결과, DPO 기반 후학습은 영어-독일어 번역 작업에서 COMET 점수를 유의미하게 향상시켜 NMT 모델의 전반적인 품질 개선 가능성을 입증했습니다.

핵심 포인트

• NMT 시스템의 오류 수정 및 성능 향상을 위해 강화 학습(RL) 기반 후학습 패러다임을 도입함.
• 새로운 프레임워크는 일반 텍스트 코퍼스와 전문가 피드백만으로 반복적인 모델 개선이 가능하게 함.
• 직접 선호 최적화(DPO)를 활용하여 NMT 모델을 효율적이고 안정적으로 후학습할 수 있음을 입증함.
• 실험 결과, DPO 기반 접근 방식은 영어-독일어 번역 작업의 COMET 점수를 0.703에서 0.747로 크게 향상시킴.