아이디어: 무작위 패치 (Patches)를 마스킹하고 경계 구조가 나타나기를 기대하는 대신, 교사 (Teacher) 모델이 온라인으로 조밀한 경계 필드 (Dense boundary field)를 예측하며, 경계를 포함하는 토큰 (Tokens)들이 학생 (Student) 모델의 마스크에 강제로 포함되도록 합니다. 따라서 학생 모델은 문맥을 복사함으로써 추론할 수 없는 영역을 정확하게 재구성해야만 합니다. 경계 타겟 (Boundary targets)은 라벨 (Labels)이나 외부 에지 검출기 (Edge detector)가 아닌 교사 모델 자체로부터 나옵니다. 핵심적인 역할을 하는 것으로 보이는 두 가지 설계 선택 사항은 다음과 같습니다: 첫째, 경계 필드를 픽셀당 범주형 분포 (Per-pixel categorical distributions)로 재구성하여, 기하학적 브랜치 (Geometric branch)가 자기 증류 (Self-distillation)의 붕괴를 막아주는 중심화/샤프닝 (Centering/sharpening) 메커니즘을 재사용할 수 있도록 했습니다 (연속적인 회귀 타겟 (Continuous regression targets)은 EMA 교사 모델 하에서 표류하는 경향이 있습니다). 둘째, 디코딩된 세그먼트 (Decoded segments)는 무언가를 감독하기 전에 a-contrario 검증 테스트를 통과해야 합니다.

수치 데이터 (모두 자체 보고된 내용, 이미지 참조): 이들은 비교 대상 중 가장 우수한 NYUv2 선형 프로브 (Linear-probe) RMSE를 보고했습니다 (1.1B/patch-16 모델에서 0.296 vs DINOv3-7B의 0.309). 세그먼테이션 (Segmentation) 성능은 증류된 DINOv3 ViT-H+와 대등한 수준입니다. 증류된 ViT-L (0.3B)은 0.310 NYUv2를 기록하며, 이는 기본적으로 7B 모델의 수치와 같습니다. 보고서에 따른 데이터 예산 (Data budget): 1억 6,100만 장의 이미지로, 이는 DINOv3 샘플의 3분의 1 미만입니다. 동일한 표에서 성능이 뒤처지는 부분: ImageNet 분류 (Classification)는 Giant 및 L 스케일에서 뒤처집니다 (그들의 B/S 학생 모델은 선형 프로브에서 해당 클래스 내 선두를 달립니다). ADE20K는 DINOv3 제품군에 뒤처지며, KITTI는 더 큰 모델들에 유리합니다. 인코더 초기화 (Encoder-initialization) 연구 (마지막 이미지)는 제가 무시하기 가장 어려운 부분입니다: 동일한 데이터로 훈련된 정확히 동일한 깊이 완성 (Depth-completion) 파이프라인에서 초기화 (Init) 값만 바꾼 것입니다. LingBot 초기화는 ViT-L 전반에 걸쳐 승리하며, ViT-g의 대부분의 벤치마크에서도 승리합니다 (그들은 Hammer 캡처에서 DINOv2가 우위를 유지한다는 점을 인정합니다). 또한 데이터 스케일링 곡선 (Data-scaling curve)을 보면 훈련 데이터가 증가함에 따라 격차가 사라지기보다는 오히려 커지는 것을 보여줍니다.

DINOv3 비교 결과가 확정되었다고 판단하기 전에 제가 확인하고 싶은 점은 다음과 같습니다. 연구진이 모든 베이스라인 (baselines)을 동일한 프로브 (probe) 프로토콜 하에 실행했다는 점은 도움이 되지만, 0.013 RMSE 차이는 프로브의 학습률 (LR)이나 해상도 (resolution) 선택에 따라 발생할 수 있는 범위 내에 있습니다. 또한, "어려운 토큰을 마스킹 (mask the hard tokens)"하는 방식에 대한 자연스러운 비교 대상인 학습된/하드 마스킹 (learned/hard-masking) 베이스라인 (ADIOS/AttMask 스타일)과의 절제 연구 (ablation)가 없습니다. 체크포인트 (Checkpoints)가 공개되어 있으므로 프로브 (probes)를 다시 실행하는 비용은 저렴합니다. Ant의 Ling-1T 출시와 관련하여 평가 (eval)에 대한 불만이 있었던 점을 고려하면, 해당 작업이 완료될 때까지 이 수치들을 검증되지 않은 것으로 간주하겠습니다.

제가 납득하기 어려운 점이 하나 더 있습니다. DINOv3는 긴 스케줄 (schedules) 동안 밀집 특징 (dense-feature) 저하를 막기 위해 Gram 앵커링 (Gram anchoring)이 필요했는데, 이 방법은 이를 유지하고 있습니다. 따라서 경계 강제 (boundary forcing)는 대체재라기보다는 상호 보완적인 것으로 보입니다. 혹시 다르게 읽으신 분 계신가요?

링크: 보고서 https://technology.robbyant.com/lingbot-vision
코드: https://github.com/robbyant/lingbot-vision
가중치 (4가지 크기, Apache-2.0): https://huggingface.co/collections/robbyant/lingbot-vision
/u/StillThese3747 님이 r/MachineLearning 에 제출함
[link] [comments]