"좋은 시점(good views)이 다음 토큰 예측을 능가한다"에 대한 소규모 검증 (Balestriero & LeCun 2026): 인간

해당 논문은 텍스트 모델이 '좋은 시점(good views)' (하나의 사진에 대한 두 가지 다른 캡션)으로 학습되었을 때, 나쁜 시점(bad views) (한 개의 캡션, 단어 가림 처리됨)이나 다음 토큰 예측(next-token prediction)보다 이미지 모델과 더 빠르게 정렬된다고 주장합니다. 논문에서 사용된 가장 큰 규모의 실험은 이미지 캡셔너가 작성한 캡션을 사용했기 때문에, 이미지 정보가 유출되었을 가능성이 있습니다. 저는 인간이 직접 작성한 캡션만을 사용하여 노트북 규모의 버전을 시도해 보았습니다.

설정 데이터: COCO 사진 10,000장, 각 사진당 인간 캡션 5개. 학습(train) 8,000장, 검증(val) 1,000장, 테스트(test) 1,000장. 이미지 측면: 고정된 DINOv2-base를 한 번 임베딩했습니다. 텍스트 측면: 세 가지 경우 모두 동일한 4개 레이어, 너비 256의 인코더 (11M 파라미터)를 사용했습니다. 캡션은 같고, 3000 스텝, 배치 크기 256, 그리고 논문의 SIGReg가 아닌 VICReg 스타일의 분산 및 공분산을 사용하는 동일한 Anti-collapse loss를 사용했습니다. 학습 쌍만 다릅니다. 텍스트 모델은 이미지를 본 적이 없습니다.

점수: 테스트 사진 1,000장에 대한 캡션 임베딩과 DINOv2 임베딩 간의 상호(mutual) 10-NN (우연 확률 0.010).

결과 (동일한 학습 속도, 3개 시드 평균):
좋은 시점 (두 가지 다른 캡션): 0.320
나쁜 시점 (1개의 캡션, 마스킹된 스팬): 0.192
다음 토큰 예측: 0.148

각 방법 모두 작은 학습률 탐색을 거쳤습니다. 최고의 속도(best speed), 1개 시드: 0.328 / 0.196 / 0.168. 순서는 변하지 않았습니다. 논문의 109M 또는 72B가 아닌, 11M 파라미터와 8,000장의 사진으로 제한되었습니다.

좋은 시점(good views)의 경우, 어떤 캡션들이 같은 사진을 설명하는지 알아야 합니다. 주석 작성자들은 사진을 보면서 이를 작성했습니다. 검색(Retrieval) (하나의 적합한 회전 적용 시 R@1)은 더 작은 격차를 보여줍니다: 0.084 대 0.063 대 0.057.

다음 토큰 예측의 최고의 학습 속도는 제가 테스트할 수 있는 범위의 최상단이었습니다. 데이터셋은 하나, 이미지 모델도 하나입니다. 첫 번째 탐색을 본 후에 추가적인 속도 단계를 추가했습니다. 이는 레포지토리에 명시되어 있습니다.

코드, 차트 및 실행별 결과: https://github.com/IFAKA/platonic-lab

제가 다음에 테스트하고 싶은 것: 인코더가 커짐에 따라 격차가 줄어드는가? 노트북으로는 그것을 테스트할 수 없었습니다. 혹시 시도해 보신 분이 계신가요?

제출자 /u/Traditional_Frame763 [링크] [댓글]