Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
멀티모달 모델의 공간 추론 능력을 정확히 평가하기 위한 '시각적 신용 감사(VCA)' 방법론을 제안합니다. VCA는 모델의 정답이 실제 시각적 근거에 기반한 것인지, 아니면 텍스트 문맥에 의한 것인지 분리하여 분석합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기폐쇄형 예/아니오 (yes/no) 공간 벤치마크는 이미지가 이미지가 없는 문맥(no-image contexts) 이상의 지원을 거의 제공하지 않음에도 불구하고 정답에 보상을 줄 수 있습니다. 고정된 강제 선택 인터페이스(forced-choice interface) 하에서, 시각적 신용 감사 (Visual Credit Audit, VCA)는 두 가지 추정량(estimands)을 분리합니다: 벤치마크 이미지가 텍스트 전용(text-only) 및 공백 대조군(blank controls)보다 모델의 선언된 결정에 더 많은 근거를 제공하는지 여부, 그리고 모델이 관계 특화된 시각적 증거(relation-specific visual evidence)에 반응하는지 여부입니다. 첫 번째 감사는 학습 및 라벨이 필요하지 않으며(training- and label-free), 답변 반전(answer flip)을 요구하지 않습니다. 라벨을 적용하면 의존성 신용 정확도 (dependence-credited correctness, D-CC)를 얻을 수 있습니다. 정답 항목의 경우, 이는 동일 대조군 골드 정렬 양의 이득(same-control gold-aligned positive gain)과 동일하며, 예측 정렬(prediction alignment)은 감사를 오류까지 확장합니다. 4개의 오픈 멀티모달 대규모 언어 모델 (MLLMs)과 2개의 공간 벤치마크를 대상으로 조사한 결과, 결정의 12.73-26.25%가 정답이지만 신용을 받지 못했습니다(uncredited). 일치하는 동일 분할 이미지 순열(matched same-split image permutation)은 D-CC를 21.25-47.80포인트 감소시키며, 모든 쌍의 95% 신뢰 구간은 0보다 높습니다. 고정 픽셀 관계 대조(Fixed-pixel relation contrasts)와 3x3 증거 소스 요인 설계(evidence-source factorial)는 왜 영 대조군(null controls)이 관계 반응을 식별할 수 없는지를 보여줍니다. 통제된 '정답이지만 신용받지 못한' 일치 결정 중에서, 관계 반전(relation reversal)에 대한 반응은 81.57-100.00%에 달하는 반면, 통합된 32.11%는 답변을 변경했습니다. 108개의 기하학적 호환 편집(geometry-compatible edits)에 대한 독립적 감사 결과는 유계된 자연 이미지 대응 확인(bounded natural-image correspondence check)을 제공합니다. 이를 통해 VCA는 벤치마크의 성공을 정확성, 추가적인 이미지 지원, 그리고 관계 일관적 반응으로 분해합니다.