메모리 경로 균형 맞추기: 하이브리드 LM의 메모리 활용 분석 및 개선

어텐션과 순환(recurrent) 레이어를 번갈아 사용하는 리커런트-어텐션 하이브리드 언어 모델(LM)은 순환 레이어의 효율성과 어텐션 레이어의 강력한 성능을 결합하기 위해 점점 더 많이 사용되고 있습니다. 기존 연구에 따르면, 어텐션과 순환 레이어는 과거 정보를 활용하는 상호 보완적인 경로를 제공합니다: 어텐션은 이전 토큰으로부터의 정밀한 메모리 회상을 지원하고, 순환 레이어는 긴 컨텍스트에 걸쳐 이질적인 정보의 통합(consolidation)을 지원합니다. 하지만 우리는 두 경로 모두에 접근할 수 있다고 해서 하이브리드 LM이 효과적으로 이를 사용한다는 의미는 아니라는 것을 관찰했습니다. 우리는 모델들이 순환 상태보다는 어텐션에 훨씬 더 의존하고 있다는 것을 발견했습니다. 표준 지도 미세 조정(supervised fine-tuning)은 전반적인 성능을 향상시키지만, 두 메모리 경로가 어떻게 조정되는지는 개선하지 못합니다: 모델은 어텐션 레이어에 의해 전파된 정보에 더욱 의존하게 되는 반면, 순환 레이어에 의해 전파된 정보의 사용은 여전히 제한적입니다. 두 메모리 경로 간의 더 나은 조정을 장려하기 위해, 우리는 어텐션이 이전 컨텍스트에 접근하는 것을 제한하는 보조 손실(auxiliary loss)을 추가하고, 동시에 순환 상태가 전체 시퀀스를 통해 전파되도록 했습니다. 이 목표는 모델이 어텐션과 함께 순환 경로를 통해 정보를 유지하고 사용하도록 장려합니다. 이는 전반적인 성능을 향상시키며, 특히 더 긴 컨텍스트를 포함하거나 정보 집계(information aggregation)가 필요한 작업에서 강력한 개선을 보였는데, 이는 분석에서 관찰된 순환 레이어의 강점과 일치합니다. 결정적으로, 이러한 불균형과 우리의 보조 손실의 이점은 일반화됩니다: 이는 질문 답변 및 에이전트적 작업(agentic tasks)에서의 여러 리커런트-어텐션 LM뿐만 아니라, 다양한 형태의 메모리를 결합하는 어텐션 기반 LM에도 적용됩니다. 종합적으로, 우리의 연구 결과는 단순히 여러 메모리 경로를 제공하는 것이 그 효과적인 사용을 보장하지 않으며, 이를 더 잘 조정하기 위해 목표 지침(targeted supervision)이 필요하다는 것을 보여줍니다.