언어 모델이 실제로 인컨텍스트(In-Context) 검색을 수행할 수 있는가? 백만 토큰 규모의 문서 홍수 속에서

요약

본 연구는 백만 토큰 규모의 대규모 코퍼스에서 언어 모델이 수행하는 인컨텍스트 검색 능력을 체계적으로 분석합니다. BlockSearch 아키텍처를 통해 길이 일반화 문제를 해결하고, 어텐션 희석 현상을 극복하기 위한 새로운 조정 기법을 제안합니다.

핵심 포인트

• 백만 토큰 규모의 대규모 인컨텍스트 검색에 대한 체계적 연구 제시
• BlockSearch를 통해 학습 범위를 10배까지 확장하는 길이 일반화 달성
• 어텐션 희석(Attention Dilution) 현상이 대규모 컨텍스트에서 성능 저하의 원인임을 규명
• 길이 인식 조정 및 희소 어텐션 도입으로 밀집 검색(Dense Retrieval) 수준의 성능 확보