LLM 생성의 모드 붕괴를 기하학적 규제를 통해 탈출하기
요약
본 논문은 생성 모델링의 주요 문제인 모드 붕괴(mode collapse)를 동역학 시스템 관점에서 '기하학적 붕괴'로 재해석하고, 이를 해결하기 위한 새로운 접근 방식을 제시합니다. 제안된 방법인 강화된 모드 규제(Reinforced Mode Regulation, RMR)는 트랜스포머의 값 캐시가 특정 방향으로 과도하게 자기 강화되는 경향을 저랭크 감쇠를 통해 직접적으로 규제합니다. 실험 결과, RMR은 기존 방식보다 훨씬 낮은 엔트로피율에서도 안정적이고 고품질의 텍스트 생성을 가능하게 함으로써 모드 붕괴 문제를 효과적으로 완화함을 입증했습니다.
핵심 포인트
- 모드 붕괴를 단순한 토큰 수준 문제가 아닌, 표현 공간으로의 '기하학적 붕괴' 문제로 재정의함.
- 제안된 강화된 모드 규제(RMR)는 트랜스포머 값 캐시의 자기 강화 방향을 저랭크 감쇠 방식으로 직접 규제하는 온라인 상태 공간 개입 기법임.
- RMR은 기존 디코딩 방식이 붕괴하는 높은 엔트로피율에서도 안정적이고 고품질의 생성을 유지할 수 있게 함.
- 이는 모드 붕괴가 확률이나 휴리스틱만으로는 해결되기 어렵다는 근본적인 통찰을 바탕으로 함.
모드 붕괴 (mode collapse) 는 생성 모델링에서 지속적으로 존재하는 도전 과제이며, 자기회귀 텍스트 생성에서는 명시적 루프부터 다양성 상실과 조기 경로 수렴에 이르기까지 다양한 행동으로 나타납니다. 우리는 동역학 시스템 관점을 취하여 모드 붕괴를 기하학적 붕괴 (geometric collapse) 로 재해석합니다: 생성 과정에서 모델의 내부 경로는 표현 공간의 저차원 영역으로 제한됩니다. 이는 모드 붕괴가 토큰 수준의 현상만이 아니며, 기호적 제약이나 확률만 기반한 디코딩 휴리스틱으로는 신뢰할 수 있게 해결될 수 없음을 의미합니다. 이러한 관점을 바탕으로, 우리는 트랜스포머 값 캐시 (value cache) 의 지배적인 자기 강화 방향을 규제하는 경량 온라인 상태 공간 개입인 강화된 모드 규제 (Reinforced Mode Regulation, RMR) 를 제안합니다 (저랭크 감쇠로 구현됨). 여러 대형 언어 모델에서 RMR 은 모드 붕괴를 현저히 줄이고 극도로 낮은 엔트로피율 (0.8 nats/step 까지) 에서 안정적인 고품질 생성을 가능하게 하며, 표준 디코딩은 일반적으로 2.0 nats/step 근처에서 붕괴합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기