대규모 언어 모델(LLMs)의 창의성 평가: 테스트, 한계 및 새로운 지평

요약

본 기사는 LLMs의 창의성을 측정하는 기존 인간 기반 테스트들의 타당성과 한계를 체계적으로 분석합니다. 연구진은 창의적 글쓰기, 확산적 사고, 과학적 아이디어 구상 등 세 가지 구성 개념에 걸쳐 여러 테스트를 평가한 결과, 단일 테스트가 모든 영역을 잘 예측하지 못함을 확인했습니다. 이에 따라, 수렴적 사고와 확산적 사고를 모두 측정하는 새로운 도구인 Divergent Remote Association Test (DRAT)를 제안하며, 이것이 과학적 아이디어 구상 능력을 신뢰성 있게 예측할 수 있는 최초의 테스트임을 입증합니다.

핵심 포인트

• LLMs의 창의성을 평가하기 위해 인간의 기존 테스트를 적용하는 것은 편리하지만, 그 타당성은 아직 확립되지 않았습니다.
• 창의적 글쓰기나 확산적 사고 같은 특정 구성 개념을 예측하는 데는 DAT와 Conditional DAT가 효과적이지만, 모든 영역에 통용되는 단일 테스트는 없습니다.
• 기존 어떤 테스트도 과학적 아이디어 구상 능력을 신뢰성 있게 예측하지 못한다는 한계가 발견되었습니다.
• 새롭게 제안된 DRAT(Divergent Remote Association Test)은 수렴적 사고와 확산적 사고를 모두 평가하며, 과학적 아이디어 구상 능력 예측에 가장 효과적인 최초의 테스트입니다.