길이는 저렴하고, 경쟁은 아니다: 주의력이 검색 과정의 문맥 손실을 예측하다 [R]

작성자입니다. 제목이 하나의 주장(claim)이기 때문에 간략하게 요약하겠습니다.

설정 (Setup): key-value retrieval 방식을 사용했으며, 512개에서 32K 토큰까지의 길이와 다섯 가지 오픈 모델(0.5B에서 3B 사이, 네 개의 계열)을 활용했습니다. 동일한 길이와 증거(evidence) 위치에 컨텍스트를 중립적인 텍스트로 채우거나, 혹은 증거 형식의 진술문으로 채웠습니다. 모든 실험에서 정답에 대한 손실 값과 증거에 대한 주의력 질량(attention mass, a*)을 기록했습니다.

발견 (Findings):

1. 중립적 필러 (Neutral filler)는 거의 무료입니다: Qwen2.5-1.5B 모델에서 32K까지 정확도가 0.97에서 1.00 사이를 유지했으며(32K에서 중앙값 손실 0.004 nats), 이는 매우 높은 성능을 보여줍니다.
2. 동일한 위치의 경쟁적 진술문 (Competing statements)은 그렇지 않습니다: 정확도는 0.11에서 0.21 사이였으며(32K에서 중앙값 손실 4.76 nats), 성능 저하가 두드러집니다.

이 손상은 조회된 key에 경쟁적인 값을 제공하는 진술문에서 집중됩니다: 그러한 하나의 진술문은 손실을 9배에서 110배까지 증폭시킵니다. 통계적으로, log(1/a*)가 총 126,473회의 실험에서 발생하는 손실 분산의 35%에서 58%를 설명하며, 로그 길이(log length)는 2%에서 8%를 설명합니다.

이전에 사용된 마스킹 필러 프로토콜을 사용하여 단순히 길이가 성능에 영향을 미친다는 주장을 펼쳤던 연구(Du et al., 2025)의 경우, MMLU에서 (30K에서 11점에서 18점 손실)이 발생했습니다. 하지만 retrieval 환경에서는 마스킹이 32K에서 정확도 46점을 비용으로 지불하는 반면, 동일한 필러를 가시적으로 남겨두는 것은 아무런 비용을 지불하지 않습니다.

결론 및 제안: 따라서 저희는 모든 길이 관련 주장이 가시적인 중립적 대조군(visible neutral control)을 포함해야 한다고 제안합니다.

제한점 (Limitations): 명확히 밝힙니다. 주의력 결과는 예측적이지 인과적이지 않습니다(a*에 대한 개입 없음). 또한, 단일 합성 과제이며 MMLU 재현에서는 7B 모델을 제외하고 최대 3B 모델까지만 다루었습니다.

자료:
코드: https://github.com/yliusci/length-is-cheap
데이터 (실험 레벨): https://huggingface.co/datasets/yliusci/length-is-cheap

비판을 환영합니다. 특히 사람들이 더 큰 모델이나 실제 RAG 파이프라인에서도 같은 패턴을 발견하는지 궁금합니다.

제출자: /u/neom_gluon [링크] [댓글]