TLPO: 대규모 언어 모델의 언어 혼란 완화를 위한 토큰 레벨 정책 최적화

요약

대규모 언어 모델(LLMs)은 다국어 능력을 가졌음에도 불구하고, 의도된 언어로 응답을 일관되게 생성하지 못하는 '언어 혼란' 문제를 겪습니다. 기존의 시퀀스 레벨 파인튜닝 방식들은 전체 응답에 영향을 주어 모델 성능 저하를 초래할 수 있었습니다. 본 논문은 이러한 한계를 극복하기 위해, 오류가 발생하기 쉬운 지점을 식별하고 토큰 단위로 정책을 최적화하는 '토큰 레벨 정책 최적화(TLPO)' 프레임워크를 제안합니다. TLPO는 선택적인 개입을 통해 모델의 일반 능력을 유지하면서 언어 일관성을 효과적으로 개선할 수 있습니다.

핵심 포인트

• LLMs의 주요 문제점 중 하나인 '언어 혼란(language confusion)' 현상을 다룹니다.
• 기존의 시퀀스 레벨 파인튜닝 방식은 모델 전반의 능력 저하를 초래할 수 있다는 한계가 있습니다.
• TLPO는 오류 발생 지점을 식별하고 토큰 단위로 정책을 업데이트하는 새로운 접근 방식을 제시합니다.
• 이러한 선택적 개입(selective intervention) 덕분에, TLPO는 모델의 일반 능력을 유지하면서 언어 일관성을 크게 개선할 수 있습니다.