도구가 항상 유익할까? 이중 모드 멀티모달 LLM 추론을 위한 적응형 도구 호출 학습

요약

기존의 멀티모달 거대 언어 모델(MLLM) 연구가 도구 호출 능력에만 집중한 것과 달리, 본 연구는 불필요한 도구 호출로 인한 오버헤드와 오류 문제를 지적합니다. 이를 해결하기 위해 쿼리 특성에 따라 도구 사용 여부를 적응적으로 결정하는 AutoTool 프레임워크를 제안하며, 강화학습을 통해 텍스트 중심 추론과 도구 보조 추론 사이의 균형을 맞춥니다.

핵심 포인트

• 도구 호출이 항상 유익한 것은 아니며, 부적절한 호출은 추론 오버헤드를 높이고 예측을 오도할 수 있음
• AutoTool은 강화학습(RL)과 모드별 보상 함수를 사용하여 도구 사용 여부를 적응적으로 결정함
• 훈련 과정에서 텍스트 중심 추론과 도구 보조 추론을 공동 탐색하여 조기 편향을 방지함
• V* 벤치마크에서 정확도를 21.8% 향상시켰으며, POPE 벤치마크에서 기존 방식 대비 44.9% 높은 효율성을 입증함