RePAIR: 반복적 정제를 통한 자기지도 표현 학습 (Predictive Self-Supervised Representation

본 논문에서는 Masked Autoencoders (MAE), Joint Embedding Predictive Architectures (JEPA), 그리고 Bidirectional Encoder Representations from Transformers (BERT)를 결합한 새로운 자기지도 표현 학습 (self-supervised representation learning) 아키텍처인 RePAIR (Representation Prediction via Autoencoding using Iterative Refinement)를 소개합니다. 우리는 이 아키텍처가 연속적인 체스 포지션과 같은 순차적 데이터 (sequential data) 내의 객체들을 압축적이면서도 의미 있는 표현 (representations)으로 인코딩하는 데 어떻게 사용될 수 있는지 입증합니다. 이 아키텍처의 기본 원리는 BERT 및 MAE와 유사하게 잠재 상태 (latent states) 시퀀스의 큰 부분을 마스킹 (masking)하는 것입니다. 그다음, JEPA와 유사하게 저차원 임베딩 공간 (embedding space)에서 시퀀스의 공백을 복구하는 가벼운 예측기 (Predictor)를 잠재 표현 (latent representations)에 적용합니다. 체스 도메인에서의 실험을 통해, 인코더 (Encoder)가 보드 표현을 정제하여 의미 있는 체스 개념들이 잠재 공간 (latent space) 내에 클러스터링 (clustered)되어 나타남을 보여줍니다. 또한, 마스킹된 보드 상태의 재구성 (reconstructions)을 통해, 모델이 비용이 많이 드는 강화학습 (reinforcement learning) 방법론에 의존하지 않고도 기물의 움직임을 추론할 수 있음을 보여줍니다. 마지막으로, 결과적으로 생성된 표현 공간은 이 의미론적으로 풍부한 공간에서 게임 경로 궤적 (game path trajectories)을 관찰함으로써 체스 경기를 빠르고 직관적으로 분석할 수 있게 해준다는 것을 발견했습니다.