소형 오픈 웨이트 LLM을 활용한 해석 가능한 번역 품질 평가(CompactQE)
요약
본 연구는 데이터 프라이버시와 비용 문제를 해결하기 위해 30B 미만의 소형 오픈 웨이트 LLM을 활용한 번역 품질 평가 방법론인 CompactQE를 제안합니다. 단일 패스 프롬프팅 전략을 통해 품질 점수, 오류 주석, 수정 제안을 동시에 수행하며, 인간의 판단과 매우 높은 상관관계를 보임을 입증했습니다.
핵심 포인트
- 30B 미만 소형 오픈 웨이트 LLM을 활용하여 비용 효율적이고 프라이버시를 보호하는 번역 품질 평가 가능
- 단일 패스 프롬프팅을 통해 점수 산출, MQM 오류 주석, 수정 제안, 사후 교정을 동시에 수행
- 기존 신경망 지표 및 미세 조정된 모델보다 뛰어난 성능을 보이며 인간의 판단과 높은 상관관계 달성
- 거대 폐쇄형 LLM의 성능을 효과적으로 근사할 수 있음을 증명
현재 기계 번역(Machine Translation) 분야의 최첨단 품질 평가(Quality Estimation, QE)는 거대하고 폐쇄적인 LLM(Large Language Models)에 의존하고 있으며, 이는 데이터 프라이버시 문제를 야기합니다. 본 연구에서는 더 작은 규모의 오픈 소스 LLM(30B 파라미터 미만)이 실행 가능하며, 비용 효율적이고 프라이버시를 보호할 수 있는 대안임을 입증합니다. 단일 패스 프롬프팅(Single-pass prompting) 전략을 사용하여, 당사의 모델은 품질 점수, MQM(Multidimensional Quality Metrics) 오류 주석, 제안된 오류 수정 및 전체 사후 교정(Post-editions)을 동시에 생성합니다. 분석 결과, 이러한 모델들은 인간의 판단과 매우 경쟁력 있는 시스템 수준의 상관관계(System-level correlations)를 달성하였으며, 이는 기존의 신경망 지표(Neural metrics), 미세 조정(Fine-tuned)된 모델, 그리고 인간 주석자 간 일치도(Human inter-annotator agreement)를 능가하며, 훨씬 더 큰 규모의 폐쇄형 LLM의 능력을 효과적으로 근사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기