Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 MLLMs의 공간 안내 기반 온정책 자기 증류(on-policy self-distillation) 방식을 제안합니다. 기존 방식이 이미지 크롭 등 시각적 확대에 국한된 반면, 본 연구는 텍스트적/공간적으로 접지된 안내를 활용하여 확장 가능하고 주석이 필요 없는 후속 학습을 가능하게 합니다. 합성 장면만으로도 실제 세계 인식 벤치마크에서 높은 전이 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기온정책 자기 증류(on-policy self-distillation)는 최근 언어 모델의 추론 능력을 향상시키는 효과적인 접근 방식으로 부상했습니다. 이는 학생 모델에게 자신(frozen 또는 EMA 버전)이 받는 특권 정보(privileged information)를 통해 지도함으로써 이루어집니다. 하지만 이를 멀티모달 대규모 언어 모델(MLLMs)에 적용하는 것은 아직까지 크게 탐구되지 않은 영역입니다. 최근 접근 방식들은 질문과 관련된 이미지 크롭(image crops)과 같은 특권 시각 정보를 사용하여 미세한 인식 능력을 개선하지만, 그 이점은 이러한 시각적 확대(visual zooming)로부터 이득을 얻고 인간 주석 기반의 접지 데이터(grounding data)나 외부 교사 모델이 필요한 작업에 국한됩니다. 본 논문에서는 MLLMs를 위한 다른 형태의 온정책 자기 증류 방식을 소개합니다. 이는 쿼리와 관련된 시각적 요소를 식별하는 텍스트적이고 공간적으로 접지된 안내(spatially grounded guidance)를 교사 모델에게 제공합니다. 우리는 자동으로 사용 가능한 객체 ID와 공간 좌표를 가진 절차적 생성 장면(procedurally generated scenes)을 사용하여, 확장 가능하고 주석이 필요 없는 후속 학습(post-training)을 가능하게 합니다. 교사 모델은 이 공간 안내를 활용하여 여러 관련 이미지 영역에서 증거를 찾아 통합하는 반면, 학생 모델은 오직 이미지와 질문만으로 그 결과적인 행동을 재현하도록 학습합니다. 우리의 접근 방식은 다양한 모델에 걸쳐 계수(counting), 문서 및 차트 이해 벤치마크에서 일관되게 성능을 향상시킵니다. 중요하게도, 후속 학습이 합성 장면만을 사용했음에도 불구하고, 그 결과적인 개선 사항들은 실제 세계 인식 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에 걸쳐 평균 성능에서 3.23점의 이득을 가져옵니다. 이러한 결과는 공간적으로 접지된 특권 정보가 온정책 자기 증류를 통해 더 광범위한 지각 능력(perceptual capabilities)을 유도할 수 있으며, 후속 학습에 사용된 작업 및 데이터 분포를 넘어 상당한 합성-실제 전이(synthetic-to-real transfer)를 가능하게 함을 보여줍니다. 프로젝트 페이지: https://github.com/sirkosophia/Where-OPD