올바른 박스에 공로를 돌리기: 구조화된 시각적 인식을 위한 한계 기여도 할당
요약
MLLM의 구조화된 시각적 인지 능력을 향상시키기 위해 박스 수준의 기여도를 할당하는 MCR-GRPO 프레임워크를 제안합니다. 기존 GRPO의 응답 수준 감독 문제를 해결하여 개별 객체 예측의 정확도를 높이는 것이 핵심입니다.
핵심 포인트
- 기존 GRPO의 응답 수준 감독으로 인한 입도 불일치 문제 해결
- leave-one-out 방식을 통한 박스 수준의 한계 기여도(MCR) 추정
- 순열 불변 매칭 및 수량 인지 정규화를 포함한 평가기 도입
- 다양한 벤치마크에서 기존 베이스라인 대비 SOTA 성능 달성
멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)은 시각적 인식, 언어-객체 결합 (language-to-object binding), 객체 수 보존 (object cardinality preservation), 그리고 정밀하게 위치가 지정된 그라운딩 (grounding) 및 세그멘테이션 (segmentation) 출력을 요구하는 구조화된 인지 작업을 해결할 것으로 점점 더 기대되고 있습니다. 그러나 기존의 그룹 상대적 강화학습 (group-relative reinforcement learning) 방법들은 응답 수준 (response-level)의 감독만을 제공하여, 구조화된 다중 객체 예측에 있어 입도 불일치 (granularity mismatch) 문제를 야기합니다. 즉, 개별 박스의 기여도를 구분하지 않은 채 단일 어드밴티지 (advantage)가 응답 내의 모든 토큰에 방송됩니다. 이러한 불일치를 해결하기 위해, 우리는 각 샘플링된 응답으로부터 박스 수준의 공로를 직접 도출하는 한계 기여도 할당 프레임워크인 MCR-GRPO를 제안합니다. 구체적으로, 한계 기여도 보상 (Marginal Contribution Reward, MCR)은 leave-one-out 비교를 통해 각 예측된 박스의 기여도를 추정하며, 해당 박스가 응답에서 제거되었을 때 매칭된 집합 값 (set value)이 어떻게 변하는지를 측정합니다. 응답 내 정규화 (within-response normalization)를 거친 후, 집합 값을 향상시키는 기록에는 양(+)의 공로를 부여하고, 중복되거나 해로운 기록은 억제합니다. 한계 귀속 (marginal attribution)을 안정적이고 유익하게 만들기 위해, 우리는 순열 불변 매칭 (permutation-invariant matching), 수량 인지 정규화 (count-aware normalization), 그리고 단계적 위치 지정 (graded localization)을 통합하는 연속 매칭 집합 값 평가기 (Continuous Matched Set Value Evaluator)를 추가로 도입합니다. MCR-GRPO는 정규화된 박스 수준의 한계 어드밴티지를 각 박스를 생성한 토큰 범위 (token spans)에 매핑하여, GRPO의 응답 수준 비교를 유지하면서도 구조화된 다중 객체 그라운딩의 박스 인지 최적화 (box-aware optimization)를 가능하게 합니다. REC, DOD, 세그멘테이션 (segmentation) 및 카운팅 (counting) 벤치마크 전반에 걸친 실험 결과, 기존의 GRPO 기반 베이스라인 대비 최첨단 (state-of-the-art) 성능을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기