개수는 존재하지만 정렬되지 않음: VLM의 계수 실패 이해 및 교정
요약
본 논문은 VLM이 사물 개수(counting)에서 어려움을 겪는 현상을 분석하고, 그 원인을 내부 표현과 언어화된 출력 사이의 격차로 규명했습니다. 비선형 프로브 학습을 통해 모델이 잘못된 답을 내놓아도 올바른 정보를 인코딩함을 확인했으며, 이를 바탕으로 오류 감지 기반 자체 교정 방법을 제안하여 계수 정확도를 향상시켰습니다.
핵심 포인트
- VLM은 개수(counting)에서 어려움을 겪는 것이 내부 지식 부족 때문이 아닐 수 있다.
- 비선형 프로브를 통해 모델이 올바른 정보를 인코딩하고 있음을 확인했다.
- 오류 감지 기반 자체 교정 방법으로 계수 정확도를 크게 향상시킬 수 있다.
- 활성화 기반 오류 프로빙은 VLM의 내부 지식 이해에 유용한 도구이다.
많은 멀티모달 태스크에서 강력한 성능을 보임에도 불구하고, 비전-언어 모델(VLMs)은 여전히 기본적인 사물 개수에 어려움을 겪습니다. 우리는 이것이 내부 지식의 부족을 반영하는지, 아니면 내부 표현과 언어화된 출력 사이의 격차를 의미하는지 조사합니다. 다섯 가지 계수 데이터셋에 걸쳐 네 개의 VLM 활성화에서 간단한 프로브(probes)를 학습시킨 결과, 비선형 프로브가 계수 오류를 신뢰성 있게 감지할 수 있음을 보여주었습니다. 이는 VLM이 잘못된 답을 출력하더라도 종종 올바른 개수를 인코딩하고 있음을 시사합니다. SVCCA 분석은 정답(ground-truth) 개수로 학습된 프로브와 모델 출력으로 학습된 프로브가 부분적으로 공유되는 활성화 부분 공간을 차지하지만, 정렬되지 않은 방향을 따라 읽어낸다는 것을 보여줍니다. 우리는 또한 인과적 조향(causal steering) 개입을 사용하여 우리의 발견을 검증했으며, 계수 식별 프로브의 방향을 강화하는 것이 모델의 계수 성능을 향상시킨다는 것을 증명했습니다. 이 결과에 영감을 받아, 우리는 내부 오류 감지기가 실패를 예측할 때만 선택적으로 모델에 재프롬프트(re-prompt)하는 디텍터 기반 자체 교정 방법을 제안합니다. 이 간단한 추론 시간 개입은 매개변수 업데이트 없이도 계수 정확도를 최대 15.6 절대 퍼센트 포인트까지 향상시킵니다. 우리의 결과는 활성화 기반 오류 프로빙이 VLM의 계수를 개선하기 위한 실용적인 도구이자, 내부 지식과 모델 출력 사이의 격차를 이해하는 기계론적 렌즈임을 확립합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기