Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 저자원 언어의 기계 번역 성능 향상을 위해 백투트랜슬레이션(BT) 기술을 제안합니다. LLM에 적당량의 단일 언어 데이터를 활용하여 BT를 수행하는 것이, 지속적인 사전 학습이나 소규모 병렬 데이터셋으로 파인튜닝하는 것보다 훨씬 효과적임을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기사전 학습된 대규모 언어 모델(LLMs)은 제로샷 및 퓨샷 설정에서 많은 작업에 효과적입니다. 저자원 언어의 기계 번역의 경우, 명백한 옵션은 퓨샷 프롬프팅과 소규모 병렬 데이터셋으로 파인튜닝하는 것입니다. 우리는 다음과 같은 질문을 던집니다: 만약 적당량의 저자원 단일 언어 데이터도 이용 가능하다면 어떨까요? 우리는 지속적인 사전 학습(continued pretraining)보다는, 이 데이터를 활용하는 더 효과적인 방법은 백투트랜슬레이션(BT)이라는 전-LLM 시대 기술이라고 주장합니다. 현재 파인튜닝된 LLM은 각 언어의 단일 언어 문장을 번역하고, 그 결과로 나온 쌍을 역방향으로 학습시키는 데 사용합니다. 병렬 데이터셋에 대한 업데이트는 안정적인 학습을 위해 교차됩니다. Odia와 Swahili의 1K 병렬 쌍으로 BT는 도메인에서 지속적인 사전 학습보다 저자원 언어 번역 성능을 7.7배에서 16.4배 능가합니다 (XCOMET-XXL 포인트). 또한, 빔 디코딩된 중간 번역본을 사용했을 때도 10배 더 많은 병렬 데이터를 가진 모델보다 우수합니다. 병렬 데이터에서 검색된 인컨텍스트 예시(in-context examples)는 BT를 더욱 개선합니다. 우리는 단일 언어 텍스트의 출처, 품질 및 양도 분석했습니다. Hindi를 고자원 대조군으로 하고 두 개의 3B 백본을 사용하여 다섯 가지 저자원 언어에 걸쳐, BT는 병렬 데이터만으로 파인튜닝한 경우보다 저자원 언어로의 번역 성능을 16%에서 173% 향상시킵니다 (XCOMET-XXL). Odia와 Sanskrit에 대한 블라인드 인간 평가는 자동화된 지표와 일치합니다.