WebGen-R1: LLM 기반 웹사이트 생성을 위한 강화학습 프레임워크

요약

본 논문은 대규모 언어 모델(LLM)이 기능적이고 미적인 다중 페이지 웹사이트를 생성하는 프로젝트 레벨 작업에 적용할 수 있는 새로운 강화학습 (RL) 프레임워크인 WebGen-R1을 제안합니다. 기존 연구들이 단일 페이지나 고비용의 에이전트 기반 접근 방식에 머물렀던 한계를 극복하고자 합니다. WebGen-R1은 스캐폴드(scaffold)-기반 구조화된 생성 패러다임을 도입하여 액션 공간을 제한하고, 구조적 보장, 실행 기반 기능 피드백, 비전 기반 미학 감독이 결합된 새로운 계층형 멀티모달 보상 함수를 설계했습니다. 실험 결과,

핵심 포인트

• WebGen-R1은 7B 규모의 기본 모델을 활용하여 배포 가능한 다중 페이지 웹사이트 생성 능력을 입증했으며, 이는 기존 LLM의 프로젝트 레벨 한계를 극복합니다.
• 제안된 프레임워크는 스캐폴드 기반 구조화된 생성을 통해 대규모 개방형 액션 공간 문제를 해결하고 아키텍처 무결성을 유지합니다.
• 새로운 계층형 멀티모달 보상 함수는 구조적 보장, 실행 기반 기능 피드백, 비전 기반 미학 감독을 통합하여 웹사이트 품질 평가의 복잡성을 효과적으로 다룹니다.
• WebGen-R1은 최대 72B 규모의 오픈소스 모델과 경쟁하며, 특히 유효한 렌더링 및 미적 정렬 측면에서 기존 SOTA인 DeepSeek-R1 (671B)을 능가하는 성능을 보였습니다.