LLM 플리케인은 왜 이런 모습일까요?

⚠️ Frontier AI 모델은 여전히 디자인 창의성 면에서 인간 디자이너에 크게 미치지 못합니다. ⚠️

AI 모델의 UI 디자인 작업에서의 창의성을 평가하는 새로운 벤치마크인 Design Creativity Bench를 소개합니다.

기능적인 웹사이트와 제품 UI를 생성하는 능력은 빠르게 발전했지만, 선도적인 AI 모델들은 여전히 창의적인 디자인 결정을 내리는 데 어려움을 겪고 있습니다.

저희는 16개의 최첨단(frontier) 모델을 80개의 개방형(open-ended) UI 작업에 걸쳐 평가했으며, 각 작업은 인간 디자이너의 참고 자료와 함께 두 가지 별개의 제품 도메인에 맞춰 조정되었습니다.

기존의 UI 벤치마크는 종종 단일 출력 품질 지표를 측정합니다. 대신, 저희는 디자인 창의성의 세 가지 차원을 측정합니다:

• – 독창성(Originality): 동일한 과제(brief)에 대해 다른 모델들의 결과물과 얼마나 구별되는지.
• – 창의적 범위(Creative Range): 제품 도메인이 변경될 때 모델이 자신의 디자인 결정을 얼마나 적응시키는지.
• – 적절성(Appropriateness): 생성된 UI가 과제의 기능적 요구 사항을 얼마나 잘 충족하는지.

결과를 보면 전반적인 창의성에 상당한 격차가 있음을 알 수 있습니다: 최고의 모델인 @OpenAI GPT-6 Astra는 인간 참고 자료 92.3에 비해 65.5점을 기록했습니다.

저희는 디자인 창의성을 최첨단 모델 역량의 측정 가능한 차원으로 만들기 위해 전체 리더보드, 방법론 및 재현 가능한 평가 프레임워크를 공개합니다.

📄 논문: https://arxiv.org/abs/2610.11539

🤗 HuggingFace 데이터셋: https://huggingface.co/datasets/Kombai/design-creativity-bench

🔗 Github: https://github.com/kombai-io/design-creativity-bench/