WebGen-R1: LLM 기반 웹사이트 생성을 위한 강화학습 프레임워크

대규모 언어 모델(LLM)은 코드 생성 같은 기능 레벨 작업에서는 뛰어난 성능을 보여주지만, 다중 페이지 웹사이트처럼 기능적이고 시각적으로 미적인 프로젝트 레벨 작업을 수행하는 것은 여전히 큰 도전 과제입니다. 기존 연구들은 주로 단일 페이지의 정적 웹사이트에 국한되거나, 에이전트 기반 프레임워크를 사용함에도 불구하고 독점 모델(proprietary models)에 의존하여 높은 토큰 비용과 지연 시간, 그리고 취약한 통합 문제를 야기했습니다.

이에 본 논문은 작은 LLM을 강화학습 (RL)으로 엔드투엔드 학습시키는 접근 방식을 제시하며, 웹사이트 생성이라는 복잡한 과제에서 신뢰할 수 있고 계산적으로 실현 가능한 보상 함수를 설계하는 것이 핵심 병목 지점임을 지적합니다. 일반적인 단일 파일 코딩 작업은 단위 테스트(unit tests)로 검증이 가능하지만, 웹사이트 생성은 본질적으로 주관적인 미학 평가, 페이지 간 상호작용, 그리고 기능적 정확성까지 종합적으로 요구합니다.

이를 해결하기 위해 연구진은 WebGen-R1이라는 엔드투엔드 RL 프레임워크를 제안했습니다. 이 프레임워크는 프로젝트 레벨 웹사이트 생성을 위해 특별히 설계되었습니다. 첫째, 스캐폴드(scaffold)-기반 구조화된 생성 패러다임을 도입하여 LLM의 광범위하고 개방적인 액션 공간을 제한하고 아키텍처적 무결성(architectural integrity)을 보존합니다. 둘째, 가장 중요한 기여는 새로운 계층형 멀티모달 보상 함수 (cascaded multimodal reward) 설계입니다. 이 보상 함수는 세 가지 요소를 매끄럽게 결합합니다: 1) 구조적 보장(structural guarantees), 2) 실행 기반 기능 피드백(execution-grounded functional feedback), 그리고 3) 비전 기반 미학 감독(vision-based aesthetic supervision).

실험 결과는 WebGen-R1의 강력함을 입증합니다. 이 프레임워크를 통해 7B 규모의 기본 모델은 거의 기능하지 않는 웹사이트를 생성하던 것에서, 배포 가능하고 미적으로 정렬된 다중 페이지 웹사이트를 생성하는 수준으로 크게 향상되었습니다. 더욱 주목할 만한 점은 WebGen-R1이 최대 72B에 이르는 대규모 오픈소스 모델의 성능을 일관되게 능가할 뿐만 아니라, 기능적 성공 측면에서는 SOTA인 DeepSeek-R1 (671B)과 견줄 만하며, 유효 렌더링 및 미학 정렬 측면에서는 이를 크게 초월한다는 것입니다.

이러한 결과는 WebGen-R1이 작은 오픈 모델을 기능 레벨의 코드 생성에서 프로젝트 레벨의 웹 애플리케이션 생성으로 확장하는 실현 가능한 경로를 제시함을 의미합니다.