인컨텍스트 다중 인스턴스 학습 (In-Context Multiple Instance Learning)

다중 인스턴스 학습 (Multiple Instance Learning, MIL)은 인스턴스 백 (bags of instances) 수준에서 감독 (supervision)이 제공되는 문제를 다루며, 계산 병리학 (computational pathology)부터 위성 이미지 (satellite imagery)에 이르는 다양한 분야에 성공적으로 적용되어 왔습니다. 그럼에도 불구하고, 기존 알고리즘들은 많은 실제 응용 분야의 특징인 저라벨 환경 (low-label regime)에서 어려움을 겪습니다. 유연한 모델은 과적합 (overfit)되고, 경직된 모델은 당면한 과제에 적응하지 못합니다. 본 연구에서는 Perceiver 스타일의 아키텍처를 가진 인컨텍스트 학습기 (in-context learner)를 합성 데이터 (synthetic data)로 사전 학습 (pretraining)하면, 소수의 라벨링된 백 (labeled bags)만으로도 새로운 과제를 해결할 수 있는 모델을 얻을 수 있음을 보여줍니다. 추론 (inference) 시에는 단 한 번의 순전파 (forward pass)를 통해 분류가 이루어지며, 그래디언트 업데이트 (gradient updates)가 필요하지 않습니다. 우리는 백 구조 데이터 (bag-structured data)를 위한 다양한 합성 데이터 생성기 (synthetic data generators)를 제안하고 조사하였으며, 이들이 상호 보완적인 귀납적 편향 (inductive biases)을 포착한다는 것을 발견했습니다. 이러한 생성기들의 혼합물로 사전 학습된 모델은 각 과제별 강점을 상속받아 12개의 MIL 벤치마크 전반에서 최고의 평균 성능을 달성하며, 과제별 학습 (task-specific training)이 필요한 지도 학습 (supervised) 베이스라인 모델들을 능가합니다.