유도(Elicitation)인가 확장(Expansion)인가? 에이전트 하네스 최적화의 이점 해부

요약

본 논문은 에이전트 하네스 최적화의 이점을 분석하며, 단순히 성공률 향상(유도)인지 아니면 해결 가능한 작업 범위 확장(확장)인지를 구분하는 것이 중요함을 강조합니다. 연구진은 RL 문헌의 pass@k 분석을 활용하여 최적화된 하네스가 도달 가능 작업 커버리지에 미치는 영향을 체계적으로 조사했습니다.

핵심 포인트

• 하네스 최적화는 모델 가중치 업데이트 없이 성능 향상을 가져옴.
• 성공률 증가(유도)와 작업 범위 확장(확장)의 구분이 중요함.
• 최적화된 하네스는 어려운 작업에서 특히 누적 이점을 보임.
• 작업 난이도 및 시도 예산에 따라 하네스의 우위가 달라질 수 있음.