위치 편향 교정은 단일 패스 어텐션 정렬(One-Pass Attention Sorting)에 불충분하다

긴 문맥 언어 모델(Long-context language models)은 중간 위치의 정보가 충분히 활용되지 않는 위치 편향(position bias) 문제를 겪습니다. 어텐션 정렬(Attention Sorting)은 어텐션 패턴을 기반으로 문서를 반복적으로 재정렬함으로써 이 문제를 해결하지만, 여러 번의 정렬 및 생성(sort-and-generate) 사이클은 배포 비용을 증가시킵니다. 우리는 위치 편향이 주요 병목 현상이라고 가설을 세우고, 어텐션이 낮은 대다수의 문서로부터 프롬프트별 위치 편향 곡선(position-bias curve)을 추정하고 이를 사용하여 원시 어텐션 점수(raw attention scores)를 교정(뺄셈 또는 나눗셈을 통해)함으로써 단일 패스 정렬을 가능하게 하는 디바이어스드 단일 패스 어텐션 정렬(Debiased One-Pass Attention Sorting)을 제안합니다. 두 모델에 대한 실험 결과, 테스트된 설정에서 이 가설은 부정되었습니다. LLaMA-2-7B-32K-Instruct에서는 디바이어싱(debiasing)이 보정되지 않은 단일 패스 정렬과 동일한 결과(94.83% containment accuracy)를 생성한 반면, YaRN-Llama-2-7b-64k에서는 디바이어싱이 정확도를 8.67%포인트 향상시켰으나 반복적 정렬(iterative sorting)보다는 여전히 14.84%포인트 뒤처져 격차의 37%만을 메웠습니다. 이러한 결과는 위치 편향 교정만으로는 반복적 정렬을 따라가기에 불충분하며, 반복적인 재정렬이 편향 교정 이상의 추가적인 이점을 제공한다는 것을 시사합니다.