에이전트의 기록은 압축이 언제 피해를 줄지 알려주는가? TRACE Paired-Replay 코퍼스에서의 온건하고 제한적인 영향
요약
본 연구는 장기 에이전트가 컨텍스트 압축 과정에서 발생하는 피해를 예측할 수 있는지 탐구했습니다. TRACE 코퍼스를 활용하여 행동의 '부담(burden)'을 기록하고, 이 기록이 실제 압축 후 오류 발생이나 반복 호출 같은 피해를 얼마나 잘 예측하는지 분석했습니다.
핵심 포인트
- 압축 전 기록만으로는 이후의 피해를 예측하기 매우 어렵다는 것을 발견함.
- 가장 좋은 트리거는 재현 대비 0.72의 AUROC를 달성했으나, 이는 여전히 제한적임.
- 제안된 '작성됨' 레이블은 단순히 궤적 단계를 측정하는 것으로 밝혀짐.
- 이 연구 결과를 바탕으로 향후 에이전트 학습에 필요한 코퍼스 구성을 제안함.
많은 장기 지평선(long-horizon) 에이전트들은 전역 규칙, 보통 토큰 예산에 따라 컨텍스트를 압축하며, 이 과정에서 에이전트가 무엇을 하고 있었는지는 알지 못합니다. 우리는 에이전트의 최근 행동이 언제 압축이 피해를 줄지 예측하는지 질문합니다. TRACE의 공개 코퍼스인 590개의 하네스 트리거(harness-triggered) AppWorld 압축 경계는 각 경계를 압축 전 컨텍스트와 요약(summary) 하에서 재실행된 접두사 상태(prefix state)로부터 리플레이하며, 다음 행동의 부담(burden)을 기록합니다. 이 부담은 오류를 일으키거나 이미 수행한 호출을 반복하는 경우입니다. 우리는 압축 경계 이전의 기록이 압축 후 피해를 예측하는 것이 매우 약하다는 것을 발견했습니다. 접두사 배치에 의해 내부적으로 명시된 대비(contrast)는 광범위한 무효성(null)이며, 그 뒤에 있는 단순한 '작성됨(has-written)' 레이블은 궤적 단계(trajectory phase)를 측정하는 것으로 밝혀졌습니다. 가장 좋은 확장 프로토콜 트리거는 같은 경계의 재현(replicate) 대비 0.66 (재현 자체 레이블에서 0.64)의 AUROC를 달성했지만, 같은 경계의 재현 대비 0.72였습니다. 가장 좋은 고정되고 해석 가능한 트리거는 압축 기회 중 84%를 유지하면서 피해가 있는(양의 부담, positive-burden) 경계의 21%를 피할 수 있었으며, 개수 면에서는 무작위 규칙 기대치를 초과했지만, 부담 질량(burden mass) 면에서는 그렇지 못했습니다 (사후 비교). 가장 좋은 트리거가 일치하는 유지율에서 토큰 예산 규칙을 능가하는지는 공개된 데이터로 평가될 수 없습니다. 우리는 이 질문에 답하기 위해 어떤 코퍼스가 제공되어야 하는지 명시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기