MIPIC: 자기 증류 내재 관계 정렬과 점진적 정보 체인을 통한 마트료슈카 표현 학습

표현 학습 (Representation learning) 은 자연어 처리 (NLP) 의 기초이지만, 다양한 계산 예산 (computational budgets) 에서 잘 작동하는 임베딩을 구축하는 것은 어렵습니다. 마트료슈카 표현 학습 (Matryoshka Representation Learning, MRL) 은 중첩된 임베딩 (nested embeddings) 을 통해 유연한 추론 패러다임을 제공하지만, 이러한 구조를 학습하려면 임베딩 차원도와 모델 깊이 (model depth) 를 가로지르는 정보 배치가 어떻게 이루어져야 하는지에 대한 명시적인 조정이 필요합니다. 본 논문에서는 구조적으로 일관되고 의미적으로 컴팩트한 마트료슈카 표현을 생성하도록 설계된 통합 학습 프레임워크인 MIPIC (Matryoshka Representation Learning via Self-Distilled Intra-Relational Alignment and Progressive Information Chaining) 를 제안합니다. MIPIC 는 토큰 수준의 기하학적 및 주의력 기반 (attention-driven) 관계를 가진 전체 표현과 잘린 표현 (truncated representations) 을 정렬하기 위해 top-k CKA 자기 증류 (self-distillation) 를 사용하여 Self-Distilled Intra-Relational Alignment (SIA) 를 통해 차원 간 구조적 일관성을 촉진합니다. 보완적으로, MIPIC 는 Progressive Information Chaining (PIC), 즉 더 깊은 층에서 성숙한 작업 의미 (task semantics) 를 초기 층으로 점진적으로 이전하는 스캐폴드링된 정렬 전략을 사용하여 깊이별 (depth-wise) 의미 통합을 가능하게 합니다. STS, NLI 및 분류 벤치마크 (TinyBERT 에서 BGEM3, Qwen3 에 이르는 모델 포함) 에서 수행한 광범위한 실험 결과, MIPIC 는 모든 용량에서 매우 경쟁력 있는 마트료슈카 표현을 제공하며, 특히 극도로 낮은 차원에서는 유의미한 성능 우위를 보였습니다.