몇 주 전, 저는 6개 언어에 걸친 자막 번역에서 TranslateGemma-12b가 프론티어 범용 모델들(Claude Sonnet, GPT-4o, DeepSeek, Gemini Flash Lite)을 능가한다는 벤치마크 결과를 이곳에 공유한 바 있습니다. 결과가 매우 강력했기에 저희는 직접 검증해보고 싶었습니다. TranslateGemma가 정말 그렇게 뛰어난 것인지, 아니면 지표(metrics)가 관대하게 평가한 것인지 말입니다. 그래서 인간 검토(human review) 단계를 추가했습니다.

설정: 한 튜토리얼 영상에서 추출한 21개의 영어 자막 세그먼트. TranslateGemma의 4개 언어(ES, JA, TH, ZH-CN - 한국어와 번체 중국어는 제외됨) 번역. 총 84개의 번역물이며, 모두 자동화된 지표(automated metrics)에서 높은 점수를 받은 것들로 선정되었습니다. 그 후 모든 번역물을 인간 MQM(Multidimensional Quality Metrics) 검토로 보냈습니다.

대시보드 자체의 레드 플래그 임계값(MX ≥ 5 OR CK < 0.70) 기준:

인간이 발견한 25개의 정확도(Accuracy) 클래스 오류(오역, 누락, 추가, 미번역) 중 단 하나도 빠짐없이 지표가 인지하지 못한 사분면(metric-blind quadrant)에 있었습니다. 이 샘플에서 지표는 정확도 오류를 단 하나도 잡아내지 못했습니다.

언어별 실패 모드(failure modes)는 상당히 다르게 나타납니다:

• **Japanese (일본어)**는 "유창하지만 의미가 틀린" 패턴을 보입니다. COMETKiwi 점수는 높고(평균 0.86), MetricX 점수도 합리적이지만, 데이터셋 내 전체 오번역 15건 중 10건이 일본어에서 발생했습니다. 기존 보고서에서도 Claude Sonnet 4.6의 일본어 결과(TQI 0.5364, MetricX 3.90, COMETKiwi 0.79 - 유창하게 들리지만 원문에서 벗어남)에서 동일한 패턴을 확인한 바 있습니다. 일본어의 경우 이러한 실패 모드(failure mode)가 모델 제품군 전반에 걸쳐 일반화되는 것으로 보입니다.
• **Thai (태국어)**는 과잉 생성(over-production)이 나타납니다. 모델이 원문에 없는 내용을 삽입한 Accuracy/Addition(정확도/추가) 오류가 5건 발생했으며, 태국어에서는 사용하지 않는 영어식 마침표로 인한 문장 부호 오류도 다수 발견되었습니다.
• **Spanish (스페인어)**는 주로 어조의 불일치(격식/비격식 전환)가 나타나며, 네 가지 언어 중 진정으로 가장 쉬운 편입니다.
• **Chinese ZH-CN (중국어 간체)**는 총 4건의 Major(주요) 오류가 있었습니다. 여기에는 자동화된 지표가 플래그를 지정했던 세그먼트(Style - "관용적이지 않은 연어 및 부적절한 문체"; 이 부분에 대해서는 인간 검토자도 지표의 의견에 동의함)가 포함됩니다. 나머지 3건의 Major 오류는 다음과 같습니다: 또 다른 Style(문체 - "직역"), "store"가 누락되어 의미가 변한 Accuracy/Omission(정확도/누락), 그리고 "ticket"이 세그먼트 전반에 걸쳐 일관되지 않게 번역된 Fluency/Inconsistency(유창성/불일치)입니다.

주의 사항: 하나의 모델과 하나의 콘텐츠 세트를 대상으로 한 소규모 감사이므로, 수치는 확정적이라기보다 방향성을 나타내는 지표로 보아야 합니다.