AgentLongBench에서 32K 창 크기를 가진 단일 12GB GPU 성능 테스트: 모호한 질문이 차이를 가렸습니다; 명확히 하자

요약

본 기사는 장기 대화 히스토리(최대 150K 토큰)를 처리하는 에이전트의 성능을 분석합니다. 특히, 기존 방식인 전체 창 사용, 프록시 기반 리콜 도구, 요약 및 잘림 방식을 비교했습니다. 테스트 결과, 모호한 질문에서는 방법론 간 차이가 미미했으나, 명확하게 증거가 필요한 질문에서는 '증거를 읽는 순서'와 같은 세부적인 맥락 이해에서 큰 성능 저하가 관찰되었습니다.

핵심 포인트

• 장기 대화 히스토리 처리는 여전히 어려운 과제입니다.
• 프록시 기반 리콜 도구는 전체 창 방식보다 우수한 성능을 보였습니다.
• 단순히 토큰 크기를 늘리는 것만으로는 충분하지 않습니다. 정보의 구조적 접근이 중요합니다.
• 명확한 증거가 필요한 질문에서는 방법론별로 큰 차이가 발생했습니다.