문법을 통한 추론: 합성된 언어적 추론 흔적(Reasoning Traces)이 저자원 기계 번역을 향상시킬 수 있는가?

대규모 언어 모델 (LLMs)은 인컨텍스트 학습 (In-context learning)을 통해 언어적 자원을 통합함으로써, 극도로 자원이 부족한 언어에 대한 기계 번역 (MT)의 유망한 접근 방식을 제공합니다. 그러나 LLMs는 번역 과정에서 문법 정보를 효과적으로 적용하는 데 종종 어려움을 겪습니다. 최근의 사고 사슬 (Chain-of-thought) 추론의 발전에 영감을 받아, 우리는 저자원 기계 번역 (MT)이 구조화된 언어 분석 및 문법 추론의 중간 단계로부터 이득을 얻을 수 있는지 조사합니다. 우리는 유니버설 의존 구문 (Universal Dependencies) 트리뱅크, 사전, 그리고 문법 규칙 뱅크로부터 단계별 언어 추론 흔적 (Linguistic reasoning traces)을 자동으로 생성하는 파이프라인을 제안합니다. 우리는 Xibe와 Chintang를 테스트 케이스로 하여 인컨텍스트 학습 (ICL), 지도 미세 조정 (SFT), 그리고 강화 미세 조정 (RFT)의 세 가지 설정에서 이러한 흔적들을 평가합니다. 우리의 결과는 언어적 추론 흔적이 추론 시 가이드 (Inference-time guidance)로서 가장 효과적임을 보여줍니다. 즉, ICL에서는 신뢰할 수 있는 문장별 흔적이 대부분의 모델, 언어 및 지표에 걸쳐 번역 성능을 실질적으로 향상시킵니다. 반면, 언어적 추론 흔적을 학습 데이터로 사용하는 것은 더 작고 일관성 없는 이득을 가져오는데, 이는 모델이 흔적의 형식은 학습하지만 종종 오류가 있는 내용을 생성하기 때문입니다. 이러한 발견은 LLMs가 신뢰할 수 있는 언어 분석이 제공될 때 저자원 기계 번역 (MT)을 위해 문법 정보를 활용할 수 있는 반면, 그러한 분석을 생성하는 법을 배우는 것은 여전히 주요한 병목 구간으로 남아 있음을 시사합니다.