공간 레이아웃 생성을 위한 LLM 기반 약한 검증기(Weak Verifiers)의 결합

우리는 공간 레이아웃(spatial layout) 도메인을 위해 작업 특화된, LLM이 생성한 약한(imperfect) 검증기들을 결합하여 강력한 검증기를 구축하는 파이프라인을 제시합니다. 작업 설명이 주어지면, 우리의 파이프라인은 LLM에게 레이아웃 검증 DSL(Domain-Specific Language)을 사용하여 검증기 프로그램 모음을 합성하도록 요청합니다. LLM이 생성한 각각의 개별 검증기는 일반적으로 레이아웃과 그에 상응하는 작업 설명 사이의 일치 여부에 대해 불완전한 확인을 제공합니다. 우리는 이러한 다수의 검증기 응답을 결합함으로써 더 강력한 검증기를 생성할 수 있음을 보여줍니다. 또한, 약한 학습(weak learning) 기술을 적용함으로써, 우리의 파이프라인은 매우 희소한 인간 라벨링 레이아웃 예시 세트(약 10개)로부터 약한 검증기들을 결합하는 방법을 학습할 수 있습니다. 우리는 우리의 파이프라인이 생성한 강력한 검증기가 레이아웃이 작업 설명과 일치하는지 직접 확인하기 위해 일련의 LLM 판사(LLM judges)를 사용하는 기존 방식보다 성능이 뛰어남을 확인하였으며, 다양한 3D 방 레이아웃 및 2D 포스터 디자인 작업에서 F1-score를 최대 7배까지 향상시켰습니다. 우리는 또한 우리의 강력한 검증기로부터 얻은 자연어 피드백을 사용하여 검증기 가이드형 레이아웃 생성(verifier-guided layout generation)을 수행할 경우, 인간 평가자에 따라 기본 레이아웃 생성기의 레이아웃 품질이 최대 66.2% 향상됨을 입증하였습니다.