SEQUOR: A Multi-Turn Benchmark for Realistic Constraint Following

요약

SEQUOR는 실제 대화에서 추출된 제약 조건으로 구성된 자동 멀티-턴 벤치마크입니다. 이 벤치마크는 모델이 장기간의 복잡한 대화 흐름 속에서도 사용자의 지시를 얼마나 일관성 있게 따르는지 평가합니다. 연구 결과에 따르면, 대화 시간이 길어질수록, 그리고 여러 제약 조건을 동시에 따라야 할 때 지시 준수 정확도가 현저하게 감소하는 경향이 관찰되었습니다.

핵심 포인트

• 기존 벤치마크는 단일 턴 또는 짧은 멀티-턴 시나리오에 국한되어 장기적인 지시 따르기 능력을 평가하기 어려웠습니다.
• SEQUOR는 실제 대화에서 추출된 제약 조건으로 구성되어, 현실적이고 까다로운 다중 턴 상호작용을 시뮬레이션합니다.
• 대화 시간이 길어질수록 모델의 지시 준수 정확도는 일관되게 감소하며, 이는 최대 11% 이상 관찰되었습니다.
• 여러 제약 조건을 동시에 따라야 할 경우, 지시 준수 능력은 40% 이상 급격히 떨어지는 것으로 나타났습니다.