3명이 태국어 원어민 언어 모델을 처음부터 학습시켰습니다. 주요 사전 학습 과정은 8개의 H100 GPU에서 6일이 걸렸으며, 컴퓨팅 비용은

3명은 태국어(Tamil) 원어민 언어 모델을 처음부터 학습시켰습니다. 이 모델의 주요 사전 학습 과정은 8개의 H100 GPU를 사용하여 6일이 소요되었으며, 컴퓨팅 비용은 약 $4,765였습니다.

이는 Ramchand Kumaresan, Madhusudhanan G, Kaushik Kezendirane이 개발한 Agaram 2.5B입니다. 이들은 약 500억 개의 토큰(token)으로 모델을 학습시켰으며, 그중 58%가 태국어였습니다. 이전의 실패한 모델까지 포함하여 전체 프로젝트 비용은 약 $13,300이었습니다. 이는 서로 다른 청구서이므로 분리하여 보관하는 것이 좋습니다.

기술적인 측면에 관심 있는 분들을 위해, 이 모델이 태국어 단어를 어떻게 처리하는지 살펴보겠습니다.

토크나이저(tokenizer)는 텍스트를 모델이 처리할 수 있는 조각으로 나눕니다. 팀의 샘플을 기준으로 Qwen2.5의 토크나이저는 태국어 단어당 평균 9.4개의 토큰을 사용했습니다. 반면, Agaram은 1.55개를 사용했습니다. 동일한 태국어 텍스트가 모델이 작동하기 시작하기 전에 훨씬 적은 조각으로 구성된다는 의미입니다.

그들의 명령어 기반 미세 조정(instruction-tuned) 모델은 테스트된 번역 벤치마크에서 Sarvam-1을 능가하는 성능을 보였습니다. 다만 한 가지 조건이 있습니다: Sarvam-1은 기본 모델(base model)이기 때문에 완벽하게 비교할 수는 없습니다.

보고서에는 불편한 결과들도 게재되어 있습니다. 일상적인 50가지 질문에 대해 AI 심사관은 답변 중 단지 46%만이 사용 가능하다고 평가했습니다. 지식 벤치마크는 우연 수준이었습니다. 번역 결과만으로는 신뢰할 수 있는 사실의 출처가 아닙니다.

저는 이것을 인간 검토를 거치는 태국어 번역 및 대화형 도구 개발을 위한 연구 시작점으로 볼 것입니다. 이 보고서는 다른 저대표 언어를 다루는 팀들을 위해 학습 선택, 비용, 그리고 실패 사례에 대해서도 설명합니다. 가중치(weights)의 라이선스는 아직 법적 검토 중입니다.

출처: Agaram 기술 보고서, arXiv:2610.18420, 2026년 10월 13일; Murai Labs 프로젝트 페이지.

사진 1: 팀의 실제 학습 파이프라인 그림. 태국어 토크나이저, 6일간의 사전 학습 과정, 그리고 이후 미세 조정 단계가 표시되어 있습니다. 출처: Agaram 기술 보고서, arXiv:2610.18420.

사진 2: 그들의 벤치마크 차트입니다. 파란색은 Agaram 2.5B이며, 6가지 번역 테스트에서는 앞서지만, 지식 관련 결과는 혼재되어 있으며 종종 우연에 가깝습니다.