가중치 공간 학습 (Weight space learning)은 신경망 (NN) 가중치의 표현 (representations)을 학습하여 다양한 다운스트림 태스크 (downstream tasks)를 가능하게 하는 것을 목표로 합니다. 기존의 접근 방식들은 유망한 성능을 보여주지만, 모델이 학습된 데이터셋에 대한 정보를 사용하여 이러한 가중치 공간 표현을 형성하는 방법이 부족하여 다운스트림 응용 분야가 제한적입니다. 우리는 학습 과정 중에 데이터셋 정보가 유도되는, 신경망을 위한 데이터셋 정렬 잠재 공간 (dataset-aligned latent space)을 학습하는 방법인 WeightCLIP을 제안합니다. 신경망 (NNs)은 오토인코더 (autoencoder)를 사용하여 잠재 표현 (latent representations)으로 인코딩되는 반면, 데이터셋 샘플은 데이터셋 인코더 (dataset encoder)를 사용하여 인코딩됩니다. 이 두 표현은 대조 목적 함수 (contrastive objective)를 사용하여 정렬되며, 데이터셋에 따라 가중치 공간 표현을 효과적으로 재형성합니다. 우리는 이러한 표현이 데이터셋 정보를 강력한 모델로 디코딩되는 가중치 공간 표현으로 매핑하는 것을 포함하여, 다양한 다운스트림 태스크에 사용될 수 있음을 입증합니다. 또한, 표준 미세 조정 (fine-tuning)보다 뛰어난 성능을 보이는 모델을 생성하기 위한 잠재 정제 과정 (latent refinement process)을 도입합니다. 전반적으로, 우리의 결과는 데이터셋 정보를 명시적으로 통합하는 것이 검색 (retrieval), 생성 (generation), 정제 (refinement) 전반에 걸쳐 가중치 공간 표현으로 달성할 수 있는 성과를 향상시킨다는 것을 보여줍니다. 코드는 https://github.com/HSG-AIML/WeightCLIP 에서 확인할 수 있습니다.