구조화된 상호작용 학습(Structured Interactive Learning)에서 모델 붕괴(Model Collapse)는 언제 발생하는가?

생성형 인공지능 (Generative Artificial Intelligence)의 확산은 상호작용 학습 (Interactive Learning) 환경을 조성하였으며, 여기에서 모델 파라미터 (Model Parameters)는 자연적인 과정에 의해 생성된 데이터뿐만 아니라 다른 모델에 의해 생성된 합성 출력물 (Synthetic Outputs)을 사용하여 지속적으로 업데이트됩니다. 이러한 패러다임은 두 가지 주요 과제를 도입합니다: (1) 학습 데이터가 더 이상 대상 모집단 (Target Population)에서만 추출되지 않아 고전적 통계 학습 (Classical Statistical Learning)의 핵심 가정을 저해하며, (2) 모델들이 잠재적으로 복잡한 방식으로 서로의 합성 출력물에 반복적으로 노출됨으로써 모델 학습 과정이 본질적으로 상관관계 (Correlated)를 갖게 됩니다. 따라서 이러한 구조화된 상호작용 학습 (Structured Interactive Learning) 환경에서 신뢰할 수 있는 통계적 추론 (Statistical Inference)을 확립하는 것은 여전히 중요한 미해결 과제로 남아 있습니다. 특히, 이전 세대 모델이 생성한 합성 데이터로 학습함에 따라 생성 모델의 성능이 점진적으로 저하되는 현상인 모델 붕괴 (Model Collapse)에 대한 우려가 커지고 있습니다. 모델 붕괴에 관한 기존 연구는 주로 자신의 출력물로 학습되는 단일 모델에 초점을 맞추고 있어, 다중 모델 상호작용 설정 (Multi-model Interactive Settings)에서의 모델 성능을 포착하지 못했습니다. 본 연구에서는 일반적인 상호작용 패턴을 가진 상호작용 학습 환경에서 생성 모델의 성능을 조사함으로써 이러한 공백을 메웁니다. 특히, 우리는 유향 그래프 (Directed Graphs)를 사용하여 모델 상호작용을 공식화하고, 모델 붕괴의 발생이 상호작용 그래프 (Interaction Graph)의 위상 (Topology)에 결정적으로 의존함을 보여줍니다. 나아가 우리는 모델 붕괴가 발생하는 시점을 특징짓는 명시적인 필요충분조건 (Necessary and Sufficient Condition)을 도출하고, 선형 회귀 (Linear Regression)에 대한 유한 표본 결과 (Finite-sample Results)와 일반적인 M-추정량 (M-estimators)에 대한 점근적 보장 (Asymptotic Guarantees)을 확립합니다. 우리는 광범위한 수치 실험을 통해 우리의 이론적 발견을 뒷받침합니다.