현재 기계 번역(Machine Translation) 분야의 최첨단 품질 평가(Quality Estimation, QE)는 거대하고 폐쇄적인 LLM(Large Language Models)에 의존하고 있으며, 이는 데이터 프라이버시 문제를 야기합니다. 본 연구에서는 더 작은 규모의 오픈 소스 LLM(30B 파라미터 미만)이 실행 가능하며, 비용 효율적이고 프라이버시를 보호할 수 있는 대안임을 입증합니다. 단일 패스 프롬프팅(Single-pass prompting) 전략을 사용하여, 당사의 모델은 품질 점수, MQM(Multidimensional Quality Metrics) 오류 주석, 제안된 오류 수정 및 전체 사후 교정(Post-editions)을 동시에 생성합니다. 분석 결과, 이러한 모델들은 인간의 판단과 매우 경쟁력 있는 시스템 수준의 상관관계(System-level correlations)를 달성하였으며, 이는 기존의 신경망 지표(Neural metrics), 미세 조정(Fine-tuned)된 모델, 그리고 인간 주석자 간 일치도(Human inter-annotator agreement)를 능가하며, 훨씬 더 큰 규모의 폐쇄형 LLM의 능력을 효과적으로 근사합니다.