T5Gemma 공개: 디코더 전용 모델을 활용한 강력한 인코더-디코더 LLM

최근 대규모 언어 모델(LLMs) 분야는 디코더 전용 아키텍처에 초점이 맞춰져 왔습니다. 하지만 T5처럼 인코더-디코더 구조를 가진 모델은 요약, 번역, 질의응답(QA) 등 실제 응용 환경에서 여전히 높은 효율성과 우수한 성능을 자랑합니다.

DeepMind는 이러한 인코더-디코더 아키텍처의 잠재력을 재조명하며 T5Gemma라는 새로운 LLM 컬렉션을 공개했습니다. T5Gemma는 기존 디코더 전용 Gemma 모델들을 '적응(adaptation)'이라는 기술을 사용해 인코더-디코더 구조로 변환한 것이 핵심입니다.

이 방법론의 핵심은 이미 학습된 디코더 전용 모델의 가중치(weights)를 사용하여 인코더-디코더 모델을 초기화하고, 이후 추가적인 사전 훈련(pre-training)을 통해 성능을 최적화하는 것입니다. 이 방식 덕분에 사용자는 예를 들어 대형 인코더와 소형 디코더를 결합하는 등 '불균형한(unbalanced)' 설계를 자유롭게 할 수 있습니다.

실험 결과, T5Gemma 모델들은 기존 Gemma 2 대비 동등하거나 더 나은 성능을 보여주었습니다. 특히 GSM8K 같은 수학 추론 작업에서 높은 정확도를 보이면서도 지연 시간(latency)은 유사하게 유지하는 등, 품질과 추론 속도의 최적화된 균형점을 제시했습니다.

더 놀라운 점은 명령어 튜닝(instruction tuning)을 거친 후의 성능입니다. T5Gemma는 Gemma 2 대비 MMLU와 같은 복잡한 작업에서 큰 폭의 점수 향상을 보여주며, 인코더-디코더 아키텍처가 매우 강력하고 범용적인 기반 모델이 될 수 있음을 입증했습니다.