지시사항은 목표가 아닌 증거: 에이전트의 결과 정렬(Outcome Alignment) 측정

요약

본 연구는 LLM 에이전트가 불완전한 초기 지시사항을 바탕으로 실제 요구사항을 추론하는 '결과 정렬(outcome alignment)' 능력을 정의하고 측정했습니다. SWE-chat 분석 결과, 사용자의 진술된 요구사항은 실제 필요와 괴리가 크다는 점을 발견했습니다. 이를 검증하기 위해 새로운 벤치마크 TiGanEval을 구축했으며, 최신 모델들조차 이 능력에서 현저한 부족함을 보였습니다.

핵심 포인트

• 에이전트는 지시사항을 목표가 아닌 증거로 취급해야 합니다.
• 결과 정렬(outcome alignment)은 실제 요구사항 추론 능력을 의미합니다.
• 새로운 벤치마크 TiGanEval을 구축하여 측정 가능하게 했습니다.
• 최첨단 모델들조차 결과 정렬 능력에서 큰 격차를 보였습니다.