토큰 수준에서의 Transformer와 하이브리드 모델 비교

요약

Transformer와 순환 레이어를 결합한 하이브리드 언어 모델의 성능 이득을 토큰 수준에서 분석한 연구입니다. Olmo 3와 Olmo Hybrid 모델을 통해 하이브리드 모델이 의미론적 상태 추적에는 유리하지만, 특정 구문론적 작업에서는 Transformer가 더 우세함을 밝혀냈습니다.

핵심 포인트

• 하이브리드 모델은 내용어 예측과 개체 추적 작업에서 Transformer보다 낮은 손실을 보임
• Transformer는 n-gram 복사 및 괄호 매칭과 같은 구문론적 작업에 더 강점이 있음
• 순환 레이어는 의미론적 상태 활용에, Attention은 패턴 복사에 기여함
• 토큰 수준의 분석을 통해 하이브리드 아키텍처의 사전 학습 진단 가능성을 제시함