현대 미술에서의 불확실성 정량화(Uncertainty Quantification)를 향하여
요약
현대 미술 애니메이션 생성 시 발생하는 텍text-to-video 모델의 불확실성 구조를 정량화하는 새로운 연구와 프로토콜을 제시합니다. 기존의 단순 분산 측정 방식을 넘어, 생성된 영상들의 다중 모드성, 이상치, 위상적 특징을 정밀하게 식별하는 방법을 다룹니다.
핵심 포인트
- 현대 미술의 모호성을 반영한 생성적 불확실성 구조 연구
- 소스 블라인드 멀티시드 불확실성 식별을 위한 재사용 가능한 프로토콜 제안
- 분포 프로파일 및 다양한 분포 모델을 활용한 정밀 진단
- Wan2.1 14B 모델 기반의 코퍼스 구축 및 높은 분류 정확도 검증
동일한 현대 미술 작품을 서로 다른 랜덤 시드(random seeds) 하에서 애니메이션화하도록 요청받았을 때, 텍스트-비디오(text to video) 모델은 시드당 하나의 해석이 담긴, 눈에 띄게 다른 영상들을 반환합니다. 현대 미술은 의도적으로 모호하기 때문에, 이러한 불일치는 노이즈(noise)가 아닌 신호(signal)입니다. 그러나 기존의 불확실성 정량화(Uncertainty Quantification, UQ) 방식은 생성된 세트를 시드들이 얼마나 다른지만 알려주는 분산 스칼라(dispersion scalar)로 축소시켜 버리며, '어떻게' 다른지는 알려주지 못합니다. 즉, 응집된 해석과 지배적인 해석 및 이상치(outlier)의 조합, 두 개의 경쟁하는 모드(modes), 또는 확산된 불안정성(diffuse instability)을 구분할 수 없으며, 해당 세트가 여전히 원본에 충실한 렌더링을 포함하고 있는지 여부도 알 수 없습니다.
본 연구에서는 현대 미술 애니메이션의 생성적 불확실성(generative uncertainty) 구조에 대한 최초의 연구와, 소스 블라인드 멀티시드 불확실성(source blind multiseed uncertainty)을 식별하기 위한 재사용 가능한 프로토콜을 제시합니다. 이 프로토콜은 다음과 같이 구성됩니다: 7개의 소스 블라인드(source blind) 및 6개의 레퍼런스 인지(reference aware) 추정기 세트; 분포 프로파일(강건한 확산(robust spread), 이상치 영향(outlier influence), 명시적 위상(explicit topology), 다중 모드성(multimodality), 이방성(anisotropy), 하나를 제외한 시드 영향(leave one seed influence), 레퍼런스 커버리지(reference coverage)); 분포 모델 절제 연구(vMF, Kent, ACG, Student t, kernel, mixture); 8개의 식별 질문; 그리고 작품 수준의 통계적 프로토콜입니다.
우리는 최초의 코퍼스(corpus)를 구축했습니다: 생성 과정에서 제외된 예술 작품들을 대상으로, 4개의 인코더(encoders)를 통해 Wan2.1 14B 모델로 4개의 시드(총 1,000개의 비디오)를 사용하여 렌더링한 250개의 현대 미술 캡션입니다. 진단 결과, 이 프로토콜은 성공적이었습니다. 시드 세트의 위상(topology)을 0.98의 균형 정확도(balanced accuracy, 우연 확률 0.25)로 분류하였고, 스칼라 값이 0.35에 불과할 때 이상치 구성(outlier configuration)을 AUROC 1.00으로 격리해냈으며, 높은 불확실성을 가진 작품들을 레퍼런스 커버링(reference covering, n=97)과 레퍼런스 누락(reference missing, n=56) 다양성으로 세 가지 시드와 여러 인코더에 걸쳐 신뢰성 있게 분류했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기