서로 최대한 관련 없는 단어 10개를 말해보세요. 의미가 멀어질수록 당신의 창의성 (creativity) 점수는 높아집니다.

그것이 테스트의 전부입니다. 100,000명의 인간이 이 테스트를 수행했습니다. GPT-4도 수행했습니다. AI는 평균적인 사람을 이겼지만, 상위 절반에게는 패배했습니다.

이 연구는 Université de Montréal, Concordia University, Mila (퀘벡의 AI 연구소), University of Toronto Mississauga, 그리고 UNIQUE Neuro-AI Center에서 진행되었습니다.

연구진은 심리학에서 창의적 사고 (creative thinking)를 측정하기 위해 사용되는 표준화된 테스트인 확산적 연상 과제 (Divergent Association Task)를 통해 GPT-4, Claude 3, GeminiPro 및 기타 여러 선도적인 모델들을 100,000명의 인간 참가자들과 비교 테스트했습니다.

이 과제에서 GPT-4와 여러 다른 모델들은 평균적인 인간보다 높은 점수를 기록했습니다. 적은 차이가 아니었습니다. 모델들은 일반적인 인간 참가자보다 일관되게 더 의미론적으로 다양한 (semantically diverse) 결과물을 생성했습니다.

그 후 연구진은 분포의 상위권을 살펴보았습니다.

인간의 상위 절반은 여전히 AI를 앞질렀습니다. 그리고 상위 10%는 AI를 압도했습니다. AI가 도달할 수 없는 천장은 평균적인 창의성이 아닙니다. 그것은 탁월한 창의성입니다. 단순히 다른 아이디어를 생성하는 것을 넘어, 모델이 학습한 적 없는 방식으로 놀랍고, 다층적이며, 기묘한 아이디어를 만들어내는 사람들 말입니다.

이어 연구진은 창의적 글쓰기를 테스트했습니다. 하이쿠 (Haiku), 영화 시놉시스, 초단편 소설 (Flash fiction) 등입니다. AI는 이러한 과제에서 인간 수준의 성능에 근접했으나, 이를 능가하지는 못했습니다. 논문 자체의 표현을 빌리자면: 인간이 작성한 샘플은 언어 모델 (language models) 모두에 대해 창의성 측면에서 상당한 우위를 유지합니다. 의미, 절제, 그리고 정서적 울림 (emotional resonance)이 중요한 개방형 창의적 작업에서는 여전히 인간이 앞서 있습니다.

이 논문을 깊이 있게 들여다보면 실제로 다음과 같은 사실을 알 수 있습니다.

AI는 대부분의 사람들보다 더 창의적인 결과물을 생성할 수 있습니다. 그것은 측정된 사실입니다. 하지만 아이디어를 생성하는 것이 '취향 (taste)'을 갖는 것과 같지는 않습니다. 어떤 아이디어를 추구할지, 어떤 것을 버릴지, 어떤 것을 발전시킬지, 그리고 어떤 것을 포기할지를 아는 데에는 모델들이 아직 갖추지 못한 무언가가 필요합니다. 아직은 말입니다.

연구진 스스로도 AI가 창의적인 전문가들을 대체할 것이라는 공포는 아직 시기상조라고 기술했습니다. 그들의 말이었습니다. 그들은 LLM (Large Language Model) 설계의 급격한 발전에도 불구하고, 가장 높은 수준에서 인공적 확산적 사고 (Divergent Thinking)와 인간의 확산적 사고 사이에 지속적인 격차가 있음을 발견했습니다. 다시 한번, 그들의 말이었습니다.

이 논문이 여러분에게 던지는 질문은 AI가 창의적인가 하는 문제가 아닙니다. 그것은 여러분이 여전히 AI를 앞서는 절반의 집단에 속해 있는가 하는 문제입니다.