Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 컨텍스트 내 문자열을 정확히 복사하지 못하는 원인을 Transformer의 위치 인코딩 문제로 분석합니다. 이를 해결하기 위해 텍text를 2D 그리드로 구성하는 2D-RoPE를 제안하며, 실험을 통해 긴 입력 길이에서도 뛰어난 복사 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)이 몇 초 만에 고도의 추론 문제를 해결할 수 있는 반면, 우리는 프런티어 모델들조차 훨씬 더 단순한 작업, 즉 컨텍스트 윈도우 (context windows) 내에 충분히 존재하는 입력 문자열을 정확하게 복사하는 작업에 실패한다는 것을 보여줍니다. 우리는 이러한 실패의 원인을 Transformer 아키텍처의 위치 인코딩 (positional encodings) 때문으로 보고 있으며, 이들의 귀납적 편향 (inductive bias)은 대응하는 입력 위치를 신중하게 찾는 대신 로컬 컨텍스트 (local contexts)를 매칭하는 지름길을 통해 복사하는 것을 선호합니다. 이 문제를 해결하기 위해, 우리는 텍스트를 1D 시퀀스 대신 2D 그리드로 구성하고 각 토큰에 행 ID와 열 ID를 할당하는 2D-RoPE를 도입합니다. 이러한 관점 아래에서, 복사는 단순히 고정된 열 오프셋 (column offset)에서 입력 토큰을 검색하는 것이 되며, 이는 학습을 용이하게 만듭니다. 합성 복사 실험 (synthetic copy experiments)에서 2D-RoPE를 적용한 얕은 Transformer는 표준 위치 인코딩이 크게 뒤처지는 것과 달리, 훈련 중에 보았던 것보다 수백 배 더 긴 입력 길이에서도 완벽한 복사를 달성합니다. 우리는 더 나아가 최대 1.4B 파라미터 규모의 모델을 사용한 DCLM 대규모 사전 학습 (pretraining)에서도 복사 작업에 대한 2D-RoPE 언어 모델의 이점이 일관되게 유지됨을 보여줍니다. 종합적으로, 우리의 결과는 텍스트를 2D로 바라보는 것이 언어 모델링 (language modeling)에 도움이 될 수 있음을 시사하며, 이것이 향후 2D 위치 인코딩의 잠재력을 더욱 탐구하는 연구를 장려하기를 바랍니다.