LEAPS: 장문맥 환경에서의 적응형 패턴 학습 및 상태 추적 평가

원문 발행 2026. 10. 19. 16:19원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

본 논문은 장문맥 언어 모델(LCLM)의 세 가지 핵심 능력인 리콜, 상태 추적, 패턴 학습을 종합적으로 평가하는 새로운 벤치마크 LEAPS를 소개합니다. LEAPS는 에이전트 워크플로우 및 복잡한 예측 능력을 측정하며, 기존 벤치마크가 간과했던 상태 추적 및 패턴 학습의 중요성을 강조합니다.

핵심 포인트

LEAPS는 리콜, 상태 추적, 패턴 학습을 모두 평가하는 새로운 벤치마크입니다.
기존 벤치마크는 주로 사실 회상(recall) 능력에만 초점을 맞추고 있었습니다.
LEAPS를 통해 모델의 장문맥에서의 상태 추적 및 패턴 학습 능력을 비교할 수 있습니다.
사고(thinking) 모델이 기본 모델보다 성능이 떨어지는 경향을 지적합니다.

장문맥 언어 모델(LCLM)은 코드베이스 개선, 연구 실험 실행, 방대한 이력을 조건으로 하는 예측기 등 긴 궤적에 걸쳐 작동하는 에이전트를 구동합니다. 이러한 응용 분야는 세 가지의 뚜렷한 장문맥 능력을 활용합니다: 컨텍스트 내에 존재하는 사실을 답으로 하는 리콜(recall); 일련의 변환을 특정 상태로 수행하여 결과를 계산할 수 있는 상태 추적(state tracking); 그리고 많은 관찰로부터 추론된 분포에서 샘플링하여 예측하는 패턴 학습(pattern learning)입니다. 기존 벤치마크는 주로 첫 번째 능력에 초점을 맞추고 있습니다. 본 연구에서는 에이전트 워크플로우, 행동 모델링, 시장 및 세계 이벤트 예측을 아우르는 12개의 새로운 데이터셋 모음인 LEAPS (Long-context Evaluation of Adaptive Pattern learning and State tracking)를 소개합니다. 구축 과정상 LEAPS는 데이터 오염에 강하며, 수백만 개의 입력 토큰까지 확장 가능하고 신뢰할 수 있는 지표를 사용합니다. 우리는 8K부터 512K 입력 토큰에 이르는 30개의 API 및 오픈 모델을 평가했습니다. LEAPS는 리콜 작업에서 거의 완벽하게 수행하는 모델과, 그 상태 추적 및 패턴 학습 능력이 크게 다르고 입력 길이가 증가함에 따라 훨씬 더 극적으로 저하되는 모델을 구별하며, 심지어 더 많은 관찰이 이론적으로 학습을 더 쉬운 과제로 만들어야 하는 패턴 학습의 경우에도 그러합니다. 더욱이, 사고(thinking) 모델은 종종 기본 모델보다 성능이 떨어져 생성 예산을 소진하거나 작업을 지나치게 단순화하는 경향이 있습니다. 우리는 LEAPS가 차세대 LCLM 개발에 지침을 제공할 수 있기를 바랍니다.

AI 자동 생성 콘텐츠

원문 바로가기

LEAPS: 장문맥 환경에서의 적응형 패턴 학습 및 상태 추적 평가

요약

핵심 포인트

댓글