SeqLoRA: 지속적인 다중 개념 생성을 위한 이중 레벨 직교 적응 (Bilevel Orthogonal Adaptation)

매개변수 효율적 미세 조정 (Parameter-efficient fine-tuning)은 텍스트-이미지 확산 모델 (text-to-image diffusion models)의 빠른 개인화를 가능하게 하지만, 표현 간섭 (representation interference)으로 인해 여러 사용자 정의 개념을 조합하는 것은 여전히 어려운 과제로 남아 있습니다. 기존의 모듈형 방법들은 비용이 많이 드는 사후 융합 (post-hoc fusion)에 의존하거나 적응 서브스페이스 (adaptation subspaces)를 고정하여 표현력과 개념 충실도 (concept fidelity)를 제한합니다. 이러한 트레이드오프 (trade-off)를 해결하기 위해, 우리는 이중 레벨 최적화 (bilevel optimization)를 통해 LoRA 인자 (LoRA factors)를 공동으로 최적화하는 제약 조건이 있는 지속 학습 (continual learning) 프레임워크인 Sequential regularized LoRA (SeqLoRA)를 제안합니다. 이론적으로, 우리는 우리 알고리즘에 대한 강력한 수렴 보장 (convergence guarantees)을 확립하고, 잔차 레이어 활성화 (residual layer activations)를 행렬 하부 가우시안 프로세스 (matrix sub-Gaussian process)로 모델링하여 치명적 망각 (catastrophic forgetting)에 대한 고확률 경계 (high-probability bounds)를 도출합니다. 나아가 우리는 데이터로부터 LoRA 기저 (LoRA basis)를 학습하는 것이 고정된 기저 (frozen-basis) 방법보다 잔차 간섭 에너지 (residual interference energy)를 더 효과적으로 최소화함을 증명합니다. 다중 개념 이미지 생성에 대한 실험을 통해, SeqLoRA는 비용이 많이 드는 융합을 피하고 조합된 생성물에서의 속성 간섭 (attribute interference)을 줄이면서, 최대 101개의 개념에 걸쳐 정체성 보존 (identity preservation) 및 확장성 (scalability)을 향상시킨다는 것을 입증했습니다.