단일 경로를 넘어: 상호작용형 LLM 에이전트의 확산적 사고 평가 및 향상

확산적 사고 (Divergent thinking)는 창의성의 핵심 차원이지만, 기존의 대규모 언어 모델 (LLMs) 평가는 이를 단발성 텍스트 생성으로 취급하여 에이전트가 반복적인 상호작용을 통해 어떻게 추론하는지를 포착하지 못합니다. 이를 해결하기 위해, 우리는 두 가지 수준에서 에이전트의 확산적 사고를 평가하도록 설계된 상호작용형 벤치마크인 MUTATE를 소개합니다. 첫 번째는 에이전트가 동일한 목표를 향한 여러 대안적 경로를 발견하는 경로 수준 (path-level)이며, 두 번째는 개별 행동이 비전형적이고 메커니즘을 전환하는 객체 사용을 요구하는 행동 수준 (action-level)입니다. 성공 여부만을 따지는 기존 평가와 달리, MUTATE는 완료된 경로와 경로를 벗어난 시도 (off-path attempts)를 모두 점수화하여, 기존의 성공률이 폐기해 버리는 확산적 추론을 포착합니다. 최첨단 (frontier) LLMs를 대상으로 한 실험 결과, 기존 프레임워크의 구조적 사각지대가 드러났습니다. 즉, 즉각적인 수렴 압박 (convergence pressure)에 노출될 경우, 모델들은 즉각적인 행동 고착 (action fixation) 상태에 빠지는 경향이 있으며 행동 수준의 확산성을 개선하지 못합니다. 이를 극복하기 위해, 우리는 제약 없는 확산적 후보 생성과 수렴적 제약 선택을 분리하는 ReDNA를 제안합니다. ReDNA는 두 가지 확산 수준 모두에서 이전 방법들을 크게 능가하며, 외부 창의성 환경에도 효과적으로 일반화됩니다. 또한 우리는 이러한 성공이 단순한 환경 탐색이 아닌, 회복 탄력성 있는 확산적 추론의 질적 향상에서 비롯됨을 확인했습니다.