토큰 수준에서의 Transformer와 하이브리드 모델 비교

Attention (어텐션) 레이어와 Recurrent (순환) 레이어를 혼합한 하이브리드 언어 모델은 유망한 가능성을 보여주었습니다. 이론적으로 순환 레이어는 상태 추적 (state tracking)에 있어 순수 Transformer (트랜스포머)의 한계를 개선하며, 경험적으로 하이브리드 모델은 손실 (loss) 및 다운스트림 평가에서 순수 Transformer보다 뛰어난 성능을 보일 수 있습니다 extcite{waleffe2024empirical,merrill2026olmohybrid}. 그러나 어떤 데이터나 능력이 이러한 이득을 유도하는지, 그리고 이러한 이득이 하이브리드 모델을 동기 부여하는 이론적 장점을 어느 정도까지 반영하는지는 여전히 불분명합니다. 우리는 Olmo 3 extcite{olmo2025olmo3} 및 Olmo Hybrid extcite{merrill2026olmohybrid}의 오픈 웨이트 (open weights)를 사용하여 이 질문을 다룹니다. 우리는 동일한 접두사 (prefix) 하에서 동일한 타겟 토큰에 대해 매칭된 Transformer와 하이브리드의 손실을 비교하며, 자연어 토큰 태그, 복사 특징 (copy features), 구분자 구조 (delimiter structure), 그리고 통제된 합성 프로브 (synthetic probes)에 따라 결과를 계층화합니다. 하이브리드 모델은 대부분의 태그 계열에서 더 낮은 손실을 보이지만, 그 이득이 균일하지는 않습니다. 이득은 개방 부류 (open-class)의 내용어에서 가장 크고, 많은 폐쇄 부류 (closed-class) 기능어에서는 더 작습니다. 산문, 코드, 마크업 전반에 걸쳐 하이브리드의 손실 우위는 대응하는 닫는 구분자 (closing delimiters)보다 여는 구분자 (opening delimiters)에서 더 크게 나타나며, 반복되는 $n$-gram에서는 거의 사라집니다. 합성 프로브는 동일한 분리를 보여줍니다. 하이브리드는 대명사 메모리 (pronoun-memory) 및 개체 추적 (entity-tracking) 작업에서 유리한 반면, Transformer는 닫는 구분자를 선택해야 하는 괄호 매칭 (bracket-matching) 작업에서 유리합니다. 이러한 패턴은 하이브리드의 순환 레이어가 문서의 의미론적 상태 (semantic state)를 활용하는 예측을 개선하는 반면, Attention은 $n$-gram 복사나 구문론적 괄호 매칭으로 예측 가능한 토큰에서 도움이 된다는 것을 시사합니다. 우리는 토큰 수준의 분해가 하이브리드 아키텍처를 위한 사전 학습 진단 (pretraining diagnostics)을 어떻게 정교화할 수 있는지 보여주는 개념 증명 (proof-of-concept) 필터링된 평가로 결론을 맺습니다.