모델은 위반 사항을 기억합니다: 다중 턴 LLM 아이디어 생성에서의 제약 준수

요약

이 연구는 다중 턴(multi-turn) LLM을 이용한 과학적 아이디어 생성 과정에서 모델의 제약 준수 능력을 평가하기 위한 새로운 벤치마크인 DriftBench를 소개합니다. 분석 결과, 반복적인 상호작용 압력은 구조적 복잡성을 증가시키지만, 종종 초기 설정된 제약을 지키는 능력(제약 준수)을 떨어뜨리는 경향이 있음을 발견했습니다. 특히 모델이 위반하는 제약을 정확히 '기억'하고 있는 현상('알고도 위반한다', KBV)은 선언적 기억과 행동적 준수 사이의 괴리를 보여주며, 이는 LLM 평가 시 중요한 고려 사항입니다.

핵심 포인트

• 다중 턴 상호작용에서 LLM은 복잡성을 증가시키지만 제약 준수가 어려워진다.
• 모델이 위반하는 제약을 정확히 기억하는 '알고도 위반한다(KBV)' 현상이 발견되었으며, 이는 모델의 행동적 한계를 보여준다.
• 구조적 체크포인트링 같은 방법으로는 KBV 문제를 근본적으로 해결할 수 없다.
• LLM 판사에게 의존한 평가 점수는 제약 위반을 과소 감지할 위험이 있어 인간 검증이 필수적이다.