소형 오픈 웨이트 LLM을 활용한 해석 가능한 번역 품질 평가(CompactQE)

요약

본 연구는 데이터 프라이버시와 비용 문제를 해결하기 위해 30B 미만의 소형 오픈 웨이트 LLM을 활용한 번역 품질 평가 방법론인 CompactQE를 제안합니다. 단일 패스 프롬프팅 전략을 통해 품질 점수, 오류 주석, 수정 제안을 동시에 수행하며, 인간의 판단과 매우 높은 상관관계를 보임을 입증했습니다.

핵심 포인트

• 30B 미만 소형 오픈 웨이트 LLM을 활용하여 비용 효율적이고 프라이버시를 보호하는 번역 품질 평가 가능
• 단일 패스 프롬프팅을 통해 점수 산출, MQM 오류 주석, 수정 제안, 사후 교정을 동시에 수행
• 기존 신경망 지표 및 미세 조정된 모델보다 뛰어난 성능을 보이며 인간의 판단과 높은 상관관계 달성
• 거대 폐쇄형 LLM의 성능을 효과적으로 근사할 수 있음을 증명