STARFlow2: 언어 모델과 정규화 흐름을 연결하여 통합 멀티모달 생성을 위한 방법

요약

STARFlow2는 언어 모델과 정규화 흐름(Normalizing Flows)의 공통적인 자기회귀적 특성을 활용하여 통합 멀티모달 생성을 목표로 합니다. 기존 방식이 텍스트 생성과 이미지 디노이징 과정에서 구조적 불일치를 겪었던 문제를 해결하기 위해, STARFlow2는 자기회귀 정규화 흐름을 도입합니다. 이 접근법은 LLM과 동일한 인과 마스크 및 순차적 구조를 공유함으로써, 텍스트와 이미지를 매끄럽게 연결하는 진정한 통합 멀티모달 시스템을 구축할 수 있게 합니다.

핵심 포인트

• 기존의 멀티모달 생성 모델은 텍스트(LLM)와 이미지(확산 모델)를 개별적으로 처리하여 구조적 불일치 문제를 안고 있었다.
• STARFlow2는 자기회귀 정규화 흐름이 트랜스포머 기반 LLM과 동일한 인과적, 순차적 구조를 공유한다는 점에 착안했다.
• 이러한 공통점을 활용하여 텍스트와 비전 생성을 하나의 일관된 프레임워크 내에서 통합하는 것이 가능하다.