도구가 항상 유익할까? 이중 모드 멀티모달 LLM 추론을 위한 적응형 도구 호출 학습
요약
기존의 멀티모달 거대 언어 모델(MLLM) 연구가 도구 호출 능력에만 집중한 것과 달리, 본 연구는 불필요한 도구 호출로 인한 오버헤드와 오류 문제를 지적합니다. 이를 해결하기 위해 쿼리 특성에 따라 도구 사용 여부를 적응적으로 결정하는 AutoTool 프레임워크를 제안하며, 강화학습을 통해 텍스트 중심 추론과 도구 보조 추론 사이의 균형을 맞춥니다.
핵심 포인트
- 도구 호출이 항상 유익한 것은 아니며, 부적절한 호출은 추론 오버헤드를 높이고 예측을 오도할 수 있음
- AutoTool은 강화학습(RL)과 모드별 보상 함수를 사용하여 도구 사용 여부를 적응적으로 결정함
- 훈련 과정에서 텍스트 중심 추론과 도구 보조 추론을 공동 탐색하여 조기 편향을 방지함
- V* 벤치마크에서 정확도를 21.8% 향상시켰으며, POPE 벤치마크에서 기존 방식 대비 44.9% 높은 효율성을 입증함
도구 증강 추론 (Tool-augmented reasoning)은 멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)의 추론 능력을 향상시키기 위한 유망한 방향으로 부상했습니다. 그러나 기존 연구들은 주로 모델이 도구를 호출할 수 있도록 하는 데 집중할 뿐, 도구 호출의 필요성에 대해서는 간과하고 있습니다. 우리는 도구 사용이 항상 유익한 것은 아니라고 주장합니다. 불필요하거나 부적절한 호출은 추론 오버헤드 (reasoning overhead)를 크게 증가시키고 심지어 모델의 예측을 오도할 수 있기 때문입니다. 이 문제를 해결하기 위해, 우리는 각 쿼리의 특성에 따라 도구 호출 여부를 적응적으로 결정하는 모델인 AutoTool을 소개합니다. 강화학습 (Reinforcement Learning, RL) 프레임워크 내에서, 우리는 모델이 정확한 응답을 생성하도록 유도하기 위해 모드별 보상 함수 (mode-specific reward functions)를 갖춘 명시적인 이중 모드 추론 전략을 설계했습니다. 또한, 단일 추론 모드로의 조기 편향을 방지하기 위해, AutoTool은 훈련 과정 전반에 걸쳐 도구 보조 (tool-assisted) 추론과 텍스트 중심 (text-centric) 추론을 공동으로 탐색하고 균형을 맞추며, 후기 단계에서는 자유로운 탐색을 촉진합니다. 광범위한 실험을 통해 AutoTool이 뛰어난 성능과 높은 효율성을 보여줌을 입증했습니다. V* 벤치마크에서 베이스 모델 대비 21.8%의 정확도 향상을 기록했으며, POPE 벤치마크에서는 기존의 도구 증강 방법들보다 44.9% 향상된 효율성을 나타냈습니다. 코드는 https://github.com/MQinghe/AutoTool 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기