ProductWebGen: 멀티모달 제품 웹페이지 생성 벤치마킹

소스 제품 이미지와 레이아웃 및 시각적 콘텐츠 지침을 사용하여 제품 전시 웹페이지를 제작하는 것은 마케팅, 광고, 이커머스(E-commerce)와 같은 분야에서 상당한 실용적 가치를 지닙니다. 직관적으로 이 작업은 제품 전시 전반에 걸친 엄격한 시각적 일관성과 렌더링 가능한 HTML 코드를 공동으로 생성하기 위한 고충실도 지침 준수(instruction following)를 요구합니다. 제어 가능성(controllability)과 지침 준수에 대한 이러한 요구 사항은 이미지 편집 모델(image editing models) 및 통합 모델(unified models, UM)과 같은 고급 멀티모달 생성 모델(multimodal generative models)의 핵심 기능과 밀접하게 맞닿아 있습니다. 이를 위해 본 논문은 이러한 모델들의 제품 웹페이지 생성 능력을 체계적으로 벤치마킹하기 위한 ProductWebGen을 소개합니다. 우리는 13개의 제품 카테고리를 아우르는 500개의 테스트 샘플로 ProductWebGen을 구성하였습니다. 각 샘플은 소스 이미지, 시각적 콘텐츠 지침, 그리고 웹페이지 지침으로 구성됩니다. 과제는 소스 이미지와 지침에 따라 여러 개의 일관된 이미지를 포함하는 제품 쇼케이스 웹페이지를 생성하는 것입니다. 작업의 혼합 모달리티(mixed-modality) 입출력 특성을 고려하여, 우리는 평가를 위한 두 가지 워크플로우를 설계하고 체계적으로 비교하였습니다. 하나는 대규모 언어 모델(large language models, LLM)과 이미지 편집 모델을 사용하여 HTML 코드와 이미지를 각각 생성하는 방식(편집 기반, editing-based)이며, 다른 하나는 단일 통합 모델(UM)에 의존하여 이전의 멀티모달 컨텍스트를 조건으로 이미지 생성을 포함한 두 가지를 모두 생성하는 방식(UM 기반, UM-based)입니다. 실증적 결과에 따르면, 편집 기반 접근 방식은 웹페이지 지침 준수와 콘텐츠 매력도 측면에서 선도적인 결과를 달성한 반면, UM 기반 방식은 시각적 콘텐츠 지침을 이행하는 데 더 많은 이점을 보일 수 있습니다. 또한 우리는 1,000개의 실제 제품 이미지와 LLM이 생성한 HTML 코드 그룹으로 구성된 지도 미세 조정(supervised fine-tuning, SFT) 데이터셋인 ProductWebGen-1k를 구축하였습니다. 우리는 오픈 소스 UM인 BAGEL에서 그 효과를 검증하였습니다. 데이터와 코드는 https://github.com/SJTU-DENG-Lab/ProductWebGen 에서 확인할 수 있습니다.