대규모 언어 모델(LLMs)의 창의성 평가: 테스트, 한계 및 새로운 지평

대규모 언어 모델(LLMs)의 창의성을 측정하는 것은 창의성을 향상시킬 수 있는 방법을 설계하고, 이 능력에 대한 과학적 이해를 높이는 데 필수적입니다. 이를 달성하기 위해, 최근 몇 년 동안 인간의 창의성 테스트를 LLMs에 적용하는 것이 일반화되었습니다. 이러한 테스트들은 "창의성"을 점수화하는 편리하고 완전히 자동화된 방법을 제공하지만, 기계의 창의성을 측정하는 도구로서의 타당성(validity)은 아직 확립되지 않았으며, 이러한 테스트들은 이미 인간의 창의성을 예측하는 도구로서도 제한적인 타당성을 가지고 있습니다. 이 문제를 해결하기 위해, 우리는 창의적 글쓰기(creative writing), 확산적 사고(divergent thinking), 그리고 과학적 아이디어 구상(scientific ideation)이라는 세 가지 대상 구성 개념(constructs)에 걸쳐 LLMs의 창의적 성취를 예측하는 데 있어 인간 창의성 테스트의 효과성을 평가하는 최초의 대규모 체계적 연구를 수행합니다. 우리는 확산적 연합 과제(Divergent Association Task, DAT)와 조건부 DAT(Conditional DAT)가 각각 창의적 글쓰기와 확산적 사고를 예측하는 데 가장 좋은 예측 도구임을 발견했으나, 테스트의 효과는 구성 개념에 따라 크게 다르며, 모든 구성 개념을 잘 예측하는 단일 테스트는 없다는 것을 확인했습니다. 더욱이, 대중적인 믿음과는 반대로, 기존의 어떤 테스트도 과학적 아이디어 구상 능력을 신뢰성 있게 예측하지 못합니다. 이 문제에 착안하여, 우리는 하나의 도구로 수렴적 사고(convergent thinking)와 확산적 사고를 모두 평가하는 어휘 공간 테스트인 확산적 원격 연합 테스트(Divergent Remote Association Test, DRAT)를 소개합니다. DRAT은 주요 설계 선택 사항 전반에 걸쳐 견고함(robustness)을 입증하며, 과학적 아이디어 구상 능력을 유의미하게 예측하는 LLMs를 위한 최초이자 유일한 창의성 테스트입니다. 또한, DRAT의 성능 향상은 확산적 연합 과제(DAT)와 원격 연합 테스트(Remote Associates Test)의 어떠한 선형 결합(linear combination)으로도 회복할 수 없으며, 이는 과학적 아이디어 구상 능력을 신뢰성 있게 예측하기 위해서는 동일한 테스트 내에서 확산적 사고와 수렴적 사고를 모두 평가하는 것이 필수적임을 나타냅니다.