ToolSciVer: 시각적 도구 증강 강화학습을 통한 멀티모달 과학 주장 검증

요약

본 논문은 멀티모달 과학 주장을 검증하기 위한 새로운 프레임워크 ToolSciVer를 제안합니다. ToolSciVer는 VLM에 표/차트 파싱, 영역 확대 등 세 가지 시각적 도구를 장착하여 복잡한 과학 자료에서 명시적인 증거를 추출합니다. 이 프레임워크는 GRPO 기반의 정책 학습을 통해 높은 정확도를 달성했습니다.

핵심 포인트

• ToolSciVer: 멀티모달 과학 주장 검증(MSCV)을 위한 최초 도구 증강 프레임워크.
• VLM에 표/차트 파싱, 영역 확대 등 3가지 시각적 도구를 통합하여 활용.
• GRPO 기반 정책 학습으로 답변 정확성 및 도구 사용 효율성을 최적화함.
• Qwen, InternVL, Gemma 등 다양한 VLM에서 우수한 성능을 입증함.