확산 트랜스포머에서 문맥적 토큰 읽기 학습

멀티모달 확산 트랜스포머(Multimodal Diffusion Transformers, MM-DiTs)는 생성 과정 전반에 걸쳐 시각 및 텍스트 표현을 공동으로 처리합니다. 이 모델들은 멀티모달 어텐션을 통해 텍스트 토큰을 반복적으로 업데이트하며, 그 기능이 명확하게 이해되지 않는 동적인 문맥적 토큰(contextual tokens)을 형성합니다. 본 연구에서는 자연어 질의응답 방식을 통해 이러한 문맥 공간을 읽어내는 프레임워크를 소개합니다. 우리는 중간 문맥적 토큰들을 고정된 대규모 언어 모델(Large Language Model, LLM)의 입력 공간으로 매핑하는 경량 병목 네트워크(bottleneck network)를 훈련시켰으며, 이를 통해 LLM이 나타나는 이미지에 대한 질문에 이 숨겨진 표현으로부터 직접 답변할 수 있도록 했습니다. 우리의 리더(reader)는 문맥적 토큰들이 나타나는 장면의 풍부하고 전역적인 표현을 인코딩한다는 것을 밝혀냈습니다: 프롬프트가 충분히 명시하지 않은 속성들을 포함하여 생성에 특화된 의미론(generation-specific semantics)은 노이즈 제거 과정 초기에 놀라울 정도로 접근 가능하며, 시간이 지남에 따라 점점 더 세밀한 디테일들이 읽을 수 있게 됩니다. 주목할 만하게도, MM-DiT가 빈 프롬프트를 받았을 때에도 이 정보는 디코딩 가능하다는 것을 보여주며, 문맥적 토큰들이 진화하는 시각 표현 자체로부터 상당한 이미지 특이적 정보를 축적한다는 것을 입증합니다. 나아가 우리는 더 읽기 쉬운(readable) 문맥적 표현을 가진 생성물이 더 높은 인간 선호도 점수를 받는 경향이 있음을 발견했습니다. 이러한 관찰들을 바탕으로, 우리는 문맥적 토큰에 인코딩된 시각-의미 정보(visual-semantic information)를 명시적으로 강화하는 훈련 기법인 Contextual Alignment를 도입하여 생성 품질과 분포 커버리지를 개선합니다. 종합적으로, 우리의 결과는 문맥적 토큰을 MM-DiTs 내부 역학에 대한 해석 가능한 관점이자 생성 모델을 개선하기 위한 효과적인 목표로 확립합니다.