현재 헝가리에서 진행 중인 A* 컨퍼런스 EMNLP 2026에서 T-Tech의 연구원들이 LIMe라는 방법을 발표했습니다. 이 방법은 품질 저하 없이 언어 모델(language models)을 약 15% 적은 컴퓨팅 자원으로 학습할 수 있게 합니다.
전통적인 Transformers 구조에서는 각 레이어가 이전 레이어의 은닉 상태(hidden state)에만 의존하기 때문에, 모든 문맥 정보가 이 과정을 거쳐야 합니다. 저자들은 이것이 '표현 붕괴(representation collapse)'로 이어지는 압력을 만든다고 입증했습니다. 즉, 토큰들이 서로 점점 유사해지고, 구별되는 특징이 희미해지며, 결과적으로 모델의 품질이 저하됩니다.
LIMe (Layer-Integrated Memory)는 어텐션 메커니즘(attention mechanism)의 경량 확장입니다. 이는 각 레이어에 이미 유지되고 있는 키-값 버퍼(key-value buffers)를 활용하고, 각 어텐션 헤드와 레이어별로 학습 가능한 라우팅 가중치(learnable routing weights)를 도입합니다. 이 가중치들은 어텐션 헤드가 바로 직전 레이어뿐만 아니라 이전 레이어의 표현(representations)으로부터도 정보를 검색하고 결합할 수 있도록 합니다. 은닉 상태 크기는 변하지 않으면서, 이전에 계산된 정보가 재사용됩니다.
약 10억 개의 매개변수(parameters)를 포함하는 모델을 대상으로 한 실험에서, LIMe는 기준선인 LLaMA와 동일한 학습 손실(training loss)을 달성하면서도 컴퓨팅 자원을 15% 적게 사용했습니다. 또한 이 방법은 언어 모델링 및 다단계 추론 벤치마크(multi-step reasoning benchmarks)에서 경쟁하는 접근 방식들보다 우수한 성능을 보였습니다. 가장 큰 개선점은 합성 산술 과제(synthetic arithmetic tasks)와 깊이가 더한 아키텍처에서 관찰되었습니다.
저자들은 또한 LIMe가 값 벡터(value vectors)에서 더 높은 엔트로피를 생성하고 토큰 분리 가능성(token separability)을 높인다는 점을 보고하며, 이는 근본적인 표현 붕괴 문제를 효과적으로 완화함을 시사합니다. 학습된 라우팅 가중치에 대한 분석은 이 모델이 국소적 특징과 장거리 특징을 모두 체계적으로 재사용한다는 것을 추가로 밝혀냅니다.
논문: https://arxiv.org/abs/2502.09245 공식 구현: https://github.com/corl-team/lime submitted by /u/ChampionshipLimp1749 [link] [comments]
