MIPIC: 자기 증류 내재 관계 정렬과 점진적 정보 체인을 통한 마트료슈카 표현 학습

요약

MIPIC는 구조적으로 일관되고 의미적으로 컴팩트한 마트료슈카 표현(Matryoshka Representation)을 생성하기 위해 설계된 통합 학습 프레임워크입니다. 이 방법은 Self-Distilled Intra-Relational Alignment (SIA)를 사용하여 전체 및 잘린 표현 간의 차원 구조적 일관성을 촉진하고, Progressive Information Chaining (PIC)을 통해 깊이별 의미 통합을 수행합니다. 광범위한 벤치마크 실험 결과, MIPIC는 모든 계산 예산에서 매우 경쟁력 있는 마트료슈카 표현을 제공하며, 특히 낮은 차원에서도 우수한 성능을 입증했습니다.

핵심 포인트

• MIPIC는 Matryoshka Representation Learning (MRL)의 한계를 극복하고 구조적 일관성을 확보하는 통합 프레임워크이다.
• Self-Distilled Intra-Relational Alignment (SIA)를 통해 전체 표현과 잘린 표현 간의 차원별 관계 정렬을 수행한다.
• Progressive Information Chaining (PIC)은 깊은 층의 성숙한 의미를 초기 층으로 점진적으로 전달하여 의미 통합을 강화한다.
• 다양한 NLP 벤치마크(STS, NLI 등)에서 모든 계산 예산 조건 하에 높은 성능과 효율성을 보여준다.