우크라이나 법률 텍스트에 대한 파운데이션 모델(Foundation Models)의 토크나이저 비옥도(Tokenizer Fertility) 및

요약

본 연구는 우크라이나 법률 텍스트를 처리하는 다양한 파운데이션 모델들의 토큰화 효율성과 성능을 비교 분석했습니다. 273개의 실제 판결문 데이터를 사용하여 5개 제공업체의 7개 모델을 벤치마킹한 결과, 모델 간 토크나이저 비옥도에 최대 1.6배의 큰 차이가 있으며 이는 API 비용 증가로 직결됩니다. 또한, NVIDIA Nemotron Super 3 (120B)가 높은 종합 점수를 기록하며 Mistral Large 3를 능가했으나, 가장 중요한 실무적 제언으로 형태론적으로 풍부한 언어에서는 Few-shot prompting보다 Zero-shot이 더 신뢰할 수 있는 기본 설정임을 제시했습니다.

핵심 포인트

• 모델 선택 시 토크나이저 비옥도 분석이 필수적이며, 이는 API 비용에 직접적인 영향을 미친다.
• NVIDIA Nemotron Super 3 (120B)가 높은 종합 성능과 낮은 API 비용을 동시에 달성하여 우수한 효율성을 보였다.
• Mistral Large 3는 거대한 파라미터 규모에도 불구하고, NVIDIA Nemotron Super 3에 비해 상대적으로 비효율적일 수 있다.
• 우크라이나어와 같은 형태론적으로 풍부한 언어에서는 Few-shot prompting보다 Zero-shot prompting이 더 안정적인 기본 설정이다.