Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 텍스트-이미지 모델의 성능 향상을 위해 공유 트랜스포머 블록을 반복적으로 실행하여 계산적 깊이를 늘리는 Looped Diffusion Transformer (Looped-DiT)를 제안합니다. 이는 파라미터 수는 유지하면서도 추론 효율성을 높여, 기존 비루프형 모델 대비 뛰어난 이미지 생성 성능과 높은 효율성을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기텍스트-이미지 모델 개선은 전통적으로 모델 크기 증가나 노이즈 제거(denoising) 단계 수 증가에 의존해 왔습니다. 본 연구에서는 공유된 트랜스포머 블록을 각 노이즈 제거 단계 내에서 반복적으로 실행하여 계산량을 늘리는 대안적인 방법을 탐구합니다. 이는 파라미터 수는 고정하면서 계산적 깊이를 효과적으로 증가시킵니다. 이러한 루프형(looped) 계산은 명시적인 추론 토큰 없이 내부 표현의 반복적인 정제(refinement)를 가능하게 합니다. 하지만, 단순한 루핑 방식으로는 이미지 품질을 일관되게 개선하지 못하는 문제가 발생합니다. 우리는 이 문제를 중간 루프 전반에 걸친 약한 감독(weak supervision)과 국소 정보를 점진적으로 침식시키는 무규제 어텐션 업데이트에서 찾았습니다. 이러한 문제들을 극복하기 위해, 우리는 중간 루프 전반의 깊은 감독(deep supervision)과 자체 변조형 어텐션(self-modulating attention)을 결합한 Looped Diffusion Transformer (Looped-DiT)를 제안합니다. 이는 루프된 피처 업데이트를 안정화시킵니다. 파라미터 매칭 및 계산량 매칭 설정 하에서, Looped-DiT는 비루프형 기준 모델(non-looped baselines)보다 일관되게 뛰어난 성능을 보입니다. 특히, 260M 파라미터의 루프형 모델이 여러 텍스트-이미지 벤치마크에서 6.5배 더 큰 모델을 능가하면서도 추론 계산량은 4.9배 적게 요구합니다. 이러한 성능 향상 외에도, 우리는 루프형 계산이 확산 모델(diffusion models)에 보다 효과적인 형태의 반복적 계산을 제공할 수 있음을 발견했습니다. 고정된 추론 예산 하에서, 루프 깊이를 늘리는 것이 노이즈 제거 단계를 추가하는 것보다 더 큰 이득을 가져옵니다. 더욱이, 더 깊은 루프는 이전 루프에서 발생한 실수를 점진적으로 수정할 수 있으며, 이는 잠재적 추론(latent reasoning)의 행동 양식을 시사합니다. 종합적으로, 이러한 결과들은 루프형 계산이 비전 생성 모델(visual generation models)을 확장하는 유망한 방법을 제공함을 보여줍니다.