T5Gemma 공개: 디코더 전용 모델을 활용한 강력한 인코더-디코더 LLM

요약

최근 LLM 시장은 디코더 전용 아키텍처에 집중되었으나, T5와 같은 인코더-디코더 구조는 요약, 번역 등 실제 응용 분야에서 여전히 강점을 가집니다. DeepMind가 발표한 T5Gemma는 기존의 디코더 전용 Gemma 모델을 '적응(adaptation)' 기술을 통해 인코더-디코더 아키텍처로 변환하여 새롭게 선보인 LLM 컬렉션입니다. 이 모델은 적응된 Gemma 2 2B 및 9B와 T5 크기의 다양한 모델들로 구성되어 있습니다. 실험 결과, T5Gemma는 디코더 전용 모델 대비 동등하거나 더 나은 성능을 보이며, 특히 추론

핵심 포인트

• T5Gemma는 기존의 디코더 전용 Gemma 모델을 적응(adaptation) 기술로 인코더-디코더 구조로 변환한 새로운 LLM 컬렉션입니다.
• 이 아키텍처는 입력 이해를 위한 풍부한 인코더 표현과 높은 추론 효율성을 결합하여 요약, 번역 등 실용적인 작업에 강점을 가집니다.
• 실험 결과, T5Gemma는 디코더 전용 모델 대비 성능은 유지하면서도 정확도를 높이고 지연 시간(latency)을 최적화하는 유연한 균형점을 제공합니다.
• 특히 명령어 튜닝(instruction tuning) 후에는 Gemma 2와 비교하여 MMLU 점수 등에서 현저하게 높은 성능 향상을 보여줍니다.