PaintCopilot: 자율적 예술적 지속으로서의 회화를 모델링하기

요약

PaintCopilot은 목표 이미지를 미리 설정하는 대신, 캔버스의 상태와 이전 붓터치 이력을 바탕으로 다음 붓터치를 예측하는 자기회귀 방식의 공동 창작 페인팅 어시스턴트입니다. ViT 기반의 Target Predictor, Flow Matching 기반의 Next Stroke Predictor, VAE 기반의 Region Sampler라는 세 가지 모델을 통해 예술적 역학을 학습하고 구현합니다. 이를 통해 예술가와 AI가 창작 과정에서 제어권을 유연하게 주고받으며 협업할 수 있는 워크플로우를 제공합니다.

핵심 포인트

• 기존의 픽셀 재구성 방식에서 벗어나 LLM과 유사한 자기회귀적 예술적 행동 모델링 도입
• Target Predictor, Next Stroke Predictor, Region Sampler로 구성된 세 가지 상호 보완적 모델 프레임워크
• Flow Matching 기술을 활용하여 시간적으로 일관된 붓터치 생성 가능
• Optimize History, Stroke Completion 등 네 가지 상호작용 워크플로우 지원
• 예술가와 AI 간의 지속적이고 유연한 제어권 교대를 통한 공동 창작 환경 구축