IDEAFix: LLM의 창의적 탈고착 프롬프팅 (Creative Defixation Prompting) 평가 프레임워크

대규모 언어 모델 (LLMs)은 창의적인 문제 해결 및 아이디어 생성과 관련된 작업에 점점 더 많이 사용되고 있습니다. 그러나 모델의 창의적 능력에 대해서는 합의가 부족한 상태입니다. 일부 연구는 인간보다 뛰어난 성능을 보고하는 반면, 다른 연구들은 고착 (fixation) 및 출력물의 균질화 (homogenization)와 같은 구조적 한계를 강조합니다. 기존의 평가 방식은 목표 지향적 생성을 포착하지 못하는 좁고 탈맥락화된 작업에 의존하거나, 창의적 과정의 여러 측면이 뒤섞인 광범위한 설정에 의존하여 작업 구성, 프롬프팅 (prompting), 그리고 평가 설계의 효과를 분리하여 파악하기 어렵게 만듭니다. 특히, 아이디어 생성 형성에 있어 구조화된 프롬프팅 전략의 역할은 여전히 충분히 탐구되지 않았습니다. 따라서 우리는 개방형 아이디어 생성 작업에서 확산적 사고 (divergent thinking)를 분석하기 위한 평가 프레임워크인 IDEAFix를 소개합니다. 우리는 모델이 짧은 디자인 시나리오, 작업 속성 (task attributes), 그리고 탈고착 프롬프팅 (defixation prompting) 전략의 통제된 변형에 대해 여러 개의 독창적인 해결책을 생성하도록 유도합니다. 이러한 설계는 구조화된 가이드가 LLM의 아이디어 생성에 어떻게 영향을 미치는지 체계적으로 분석할 수 있게 합니다. 연구 결과, 작업 구성 (task formulation)과 속성 선택 모두 모델의 성능에 유의미한 영향을 미치며, 단순한 프롬프팅 전략이 해결책의 독창성을 높일 수 있음을 보여줍니다. 그러나 우리는 또한 모델 전반에 걸쳐 지속적인 출력 균질화 (output homogenization) 현상을 관찰하였으며, 이는 다양한 해결책을 생성하는 능력에 있어 모델의 내재적 한계가 있음을 확인시켜 줍니다. 종합적으로, IDEAFix는 LLM의 창의성 이면에 있는 메커니즘을 연구하기 위한 통제 가능하고 확장 가능한 프레임워크를 제공합니다.