LongHarness 벤치마크: 장문 컨텍스트 추론을 위한 언어 모델 하네스 스트레스 테스트

언어 모델(LM) 하네스는 추가적인 컴퓨팅 자원을 사용하여 LM이 긴 컨텍스트에서도 효과적으로 작동하도록 합니다. 하지만 기존의 장문 컨텍스트 평가는 현대적인 하네스를 구별하기에 불충분하며, 이는 하네스 전반에 걸쳐 포화된 정확도와 대체로 유사한 평가 비용으로 반영됩니다. 본 논문에서는 장문 컨텍스트 하네스의 효과성과 효율성을 모두 평가할 수 있는 벤치마크를 소개합니다. 저희의 태스크는 어휘 검색(lexical search)과 의미 일치(semantic matching)를 포함하는 다양한 검색 전략과, 전역적 및 국소적 컨텍스트에 대한 전략적이고 적응적인 추론을 요구합니다. 컨텍스트의 상당 부분은 의미적으로 관련성이 있지만, 각 단계에서 유용한 것은 소수의 하위 집합에 불과하여, 도전적인 검색 문제와 처리 전략 전반에 걸친 다양한 정확도-비용 트레이드오프를 만듭니다. 예를 들어, 한 태스크는 문서 전체에 흩어져 있는 증거를 사용하여 여러 조건을 만족하는 모든 사람을 식별하는 것을 요구합니다. 가장 선택적인 조건을 먼저 전략적으로 확인하면 나머지 조건들을 검증하기 전에 검색 범위를 좁힐 수 있습니다. 저희는 네 가지 최첨단 하네스를 사용하여 여러 계열의 프론티어 언어 모델을 평가했습니다. 저희의 벤치마크는 강력한 모델-하네스 조합에게도 여전히 도전적이며, 최고 성능은 네 가지 평가 스위트 전반에 걸쳐 68%의 거시 평균 정확도를 달성합니다. 더욱 중요하게는, 동일한 기본 모델이 서로 다른 하네스에서 현저히 다른 효율성을 보일 수 있다는 것을 발견했습니다. 저희의 결과는 장문 컨텍스트 평가를 위한 중요한 축으로 효율성을 확립하고, 컨텍스트를 소진적으로 처리하기보다는 전략적으로 처리하는 하네스를 개발하기 위한 테스트베드를 제공합니다.