Meta, 토큰 대신 '원시 바이트'로 학습한 소형 AI 모델 연구: 초기보다 향상될 전망

https://arxiv.org/pdf/2609.12303 이 논문은 토큰을 읽는 모델이 아닌, 원시 바이트(raw bytes)를 직접 읽도록 하는 모델을 제안합니다. 즉, 글자 하나하나씩 읽는 방식입니다. 그들이 수행한 작업은 다음과 같습니다: 소형 모델(~1B 파라미터)을 훈련했는데, 일부는 토큰 기반으로, 일부는 바이트 기반으로 학습시켰습니다. 이 과정에서 더 큰 모델(Llama 3 8B)의 지식을 복사하는 방식, 즉 지식 증류(distillation)를 부분적으로 사용했습니다. 까다로운 점은 교사 모델(teacher)이 토큰 단위로 생각하고 학생 모델(student)이 바이트를 읽는다는 것이므로, 이 둘 사이를 명확하게 번역할 수 있는 방법을 찾아야 했습니다.

그들이 발견한 것은 다음과 같습니다: 약간의 훈련만 거치면 토큰 모델이 우세하며, 차이가 크지 않습니다. 하지만 더 많은 훈련을 할수록 토큰 모델은 성능 향상이 정체되는(flatline) 반면, 바이트 기반 모델은 계속해서 개선됩니다. 추세를 확장하여 예측했을 때, 바이트 모델은 Llama 3.2 1B와 Gemma 3 1B를 몇 포인트 차이로 능가합니다. 또한 바이트 모델은 같은 수준에 도달하는 데 약 6배 적은 양의 텍스트만 필요했습니다.

주의할 점(그리고 몇 가지): 'Llama과 Gemma를 능가한다'는 부분은 예측입니다. 그들은 실제로 훈련한 범위를 넘어 곡선을 확장했습니다. 실제 테스트에서는 토큰 모델이 여전히 앞서 있었으며, 글자 단위로 읽는 것은 더 느립니다. 토큰 하나는 약 4~5개의 글자에 해당하므로, 같은 텍스트를 처리하는 데 약 5배의 단계가 필요합니다. 데이터는 적게 필요하지만 컴퓨팅 자원은 더 많이 필요합니다. 토큰이 완전히 쓸모없어진 것은 아니며, 교사 모델이 여전히 사용하기 때문입니다. 다만 소형 모델에 대해서만 테스트되었기 때문에 대규모(scale)에서도 유효할지는 아직 알 수 없습니다.

개인적으로는 여전히 매우 흥미롭습니다. 휴대폰이나 노트북용 소형 모델의 경우, 같은 크기로 더 많은 품질을 짜내는 것이 중요합니다. 그리고 거대한 단어 목록을 제거하면 단어 내 글자 개수 오기록과 같은 어리석은 실수들을 고칠 수 있을지도 모릅니다. 바이트 모델이 토큰 모델만큼 빠르게 작동하도록 만드는 작업에 대해 아는 분 계신가요?

제출자: /u/DotaMate [링크] [댓글]