PaintCopilot: 자율적 예술적 지속으로서의 회화를 모델링하기

우리는 목표 이미지를 요구하지 않고, 진화하는 캔버스 상태와 이전 붓터치 이력(brushstroke history)을 조건으로 하여 회화를 개방형 자기회귀(autoregressive) 예술적 행동으로 모델링하는 공동 창작 신경망 페인팅 어시스턴트인 PaintCopilot을 선보입니다. 회화를 미리 정의된 참조를 향한 픽셀 재구성(pixel reconstruction)으로 프레임화하는 기존의 신경망 페인팅 방식과 달리, PaintCopilot은 대규모 언어 모델(Large Language Models, LLM)이 이전 문맥으로부터 텍스트 시퀀스를 이어가는 것과 유사하게, 학습된 예술적 역학(artistic dynamics)으로부터 미래의 붓터치를 직접 예측합니다. 이 프레임워크는 세 가지 상호 보완적인 모델을 제안합니다: 부분적인 캔버스 관찰로부터 예술가의 의도를 추론하는 ViT 기반의 Target Predictor, Flow Matching을 통해 시간적으로 일관된 붓터치를 생성하는 자기회귀 방식의 Next Stroke Predictor, 그리고 필요에 따라 의미론적으로 국소화된 붓터치 시퀀스를 합성하는 VAE 기반의 Region Sampler입니다. 세 가지 미분 가능한 붓 표현(Hard Round, Brush Tip, 2D Gaussian)을 기반으로 구축된 이 시스템은 Optimize History, Stroke Completion, Region Inpainting, Dynamic Brush의 네 가지 상호작용 워크플로우를 지원합니다. 전문 예술가들과의 사례 연구를 통해, 우리는 PaintCopilot이 예술가와 AI가 창작 과정 전반에 걸쳐 지속적으로 제어권을 교대하며 유연한 공동 창작 페인팅 워크플로우를 가능하게 함을 입증합니다.