밀집된 컨텍스트는 어려운 컨텍스트이다: 어휘 밀도가 LLM의 유효 컨텍스트에 미치는 제한적 영향

입력 길이(Input length)와 관련 정보의 위치는 LLM의 긴 컨텍스트(long-context) 성능 저하를 일으키는 주요 원인으로 널리 인용됩니다. 본 연구에서는 컨텍스트가 새로운 정보를 도입하는 비율인 어휘 밀도(lexical density)를, LLM의 유효 컨텍스트 창(effective context window)을 체계적으로 감소시키는 세 번째이자 크게 간과되었던 요인으로서 연구합니다. 우리는 동일한 길이(~12k tokens)와 제어된 바늘 위치를 가지면서 정보의 밀도는 증가시키는 세 가지 "바늘 찾기(find-the-needle)" 스타일의 벤치마크를 사용하여, 오픈 웨이트(open-weight) LLM(9B-685B)에 대한 어휘 밀도의 영향을 정량화합니다. 우리는 밀도가 높은 벤치마크에서 급격한 성능 붕괴를 관찰했습니다. 희소한(sparse) 컨텍스트에서는 거의 완벽했던 모델들이 밀도가 높은 컨텍스트에서는 검색 점수(retrieval score)가 60% 미만으로 떨어집니다. 작업 유형에 따른 혼란 변수(confounds)를 배제하기 위해, 우리는 다른 모든 속성을 변경하지 않은 채 각 벤치마크 내에서 밀도를 변화시키고 제어했습니다. 밀도를 낮추면 일반적으로 성능이 회복되며, 특히 성능 저하가 나타나는 고밀도 영역에서 더욱 그러합니다. 이러한 결과는 유효 컨텍스트 용량이 어휘 밀도의 함수임을 보여주며, 압축적이고 정보가 풍부한 입력을 처리하는 실제 LLM 시스템에 직접적인 시사점을 제공합니다.