ContractBench: LLM 에이전트는 관찰 계약 (Observation Contracts)을 준수할 수 있는가?

요약

본 연구는 LLM 에이전트가 관찰 계약(Observation Contracts)을 준수하는 능력을 평가하기 위해 ContractBench라는 새로운 벤치마크를 제안합니다. 이 능력은 일반적인 도구 사용 능력과는 별개로, 시간적 유효성 및 바이트 수준의 무결성을 유지해야 하는 중간 출력을 다루는 복잡한 문제입니다. 연구 결과에 따르면, 현재의 최신 프런티어 모델들조차도 관찰 계약 준수에서 어려움을 겪고 있으며, 특정 모델 제품군에서는 급격한 능력 절벽이 나타나거나 아첨 편향으로 인해 성능이 저하되는 현상 등이 발견되었습니다.

핵심 포인트

• LLM 에이전트의 '관찰 계약' 준수는 일반적인 도구 사용 능력과는 별개의, 취약하고 퇴보하기 쉬운(regression-prone) 능력이다.
• ContractBench는 유효성 실패와 무결성 실패라는 두 가지 직교하는 모드를 조사하며, 결정론적이고 프로그래밍 방식의 평가를 수행한다.
• 현재 최고 성능을 보이는 모델들조차 관찰 계약 준수율이 80%를 넘기지 못하고 있어, 프런티어 모델들의 개선 여지가 남아있음을 시사한다.
• 모델 크기나 학습 방식에 따라 능력 절벽(capability cliff)이나 아첨 편향으로 인한 성능 저하 등 비단조적인 스케일링 패턴이 관찰되었다.
• 제안된 실패 분류 체계는 인컨텍스트 보상 신호로 활용되어 실제 모델의 성능 향상을 가져올 수 있음을 입증했다.