RepICL: 이종 표현 공간 전반에 걸쳐 재사용 가능한 인컨텍스트 예측

고정된(Frozen) 표현은 다운스트림 분류 작업에서 광범위하게 재사용되지만, 각 새로운 태스크는 일반적으로 새로운 예측기(predictor)를 적합해야 합니다. 우리는 몇 번의 예시(few-shot) 예측 절차 자체를 한 번 학습하여 데이터셋과 표현 공간 전반에 걸쳐 재사용할 수 있는지 질문합니다. 이 질문을 연구하기 위해, 텍스트, 이미지, 오디오에 걸쳐 1,218개의 인코더-데이터셋 태스크로 구성된 RepShiftBench를 소개합니다. 이 벤치마크는 보지 못한 데이터셋으로의 일반화, 보지 못한 인코더, 공동으로 보지 못한 데이터셋 및 인코더, 그리고 보지 못한 모달리티에 대한 개별 평가를 수행합니다. 이 벤치마크는 상당한 격차를 드러냅니다: 각 에피소드마다 독립적으로 적합된 로지스틱 회귀(Logistic Regression)가 모든 설정에서 평가된 모든 인컨텍스트 학습기보다 성능이 우수했습니다. 우리는 RepICL을 소개합니다. 이는 에피소드별 화이트닝(episodic whitening)을 통해 각 에피소드를 정규화한 후 예측하는 메타-학습된(meta-trained) 인컨텍스트 학습기입니다. 그 귀납적 변형인 RepICL-I는 12가지 모든 벤치마크 설정에서 로지스틱 회귀를 능가하며, RepICL-T는 기존의 전도적 방법(transductive methods)보다 현저히 뛰어난 성능을 보입니다. 제거 실험(Ablations)은 에피소드별 화이트닝이 이러한 이득의 주요 원천임을 식별하는 동시에, 이것이 보편적으로 유익한 전처리 단계는 아님을 보여줍니다. 두 변형 모두에서, 이득은 단순한 지원 프로토타입(support prototypes)이 잘못된 클래스를 선호하거나 실제 클래스와 경쟁 클래스 사이에 적은 분리도를 제공하는 쿼리에 집중됩니다. 전도적 방법은 제한된 지원 커버리지(limited support coverage)가 클래스 분리에 대한 오해를 불러일으킬 때 가장 큰 추가 이득을 제공합니다. 종합적으로, 이러한 결과들은 공유되는 몇 번의 예시 예측 절차가 학습 중에 관찰된 표현 공간을 넘어 일반화할 수 있음을 입증합니다.