신뢰도 보정 및 점진적 추론을 통한 QANTA 2026용 작업별 멀티모달 질의응답 에이전트
요약
본 논문은 QANTA 2026 공동 챌린지를 위해 작업별 멀티모달 질의응답(EMM-QA) 에이전트 아키텍처를 제안합니다. 이 시스템은 불확실성 속 답변 결정(Tossup)과 정확한 증거 기반 선택(Bonus)이라는 두 가지 과제를 다룹니다. 특히, 신뢰도 보정 및 도메인 특화 추론 정책에 중점을 둔 경량의 에이전트 전략을 통해 높은 성능을 달성했습니다.
핵심 포인트
- QANTA 2026 챌린지를 위한 작업별 멀티모달 QA 에이전트 개발.
- Tossup은 신뢰도 보정된 모델로, Bonus는 구조화된 관계 추론에 중점을 둠.
- 검색이나 앙상블 대신 효율적인 추론 정책과 신뢰도 보정에 초점.
- 경량의 작업별 전략이 자원 제약적 환경에서 강력한 성능을 입증함.
저희는 ICML 2026 효율적인 멀티모달 질의응답(EMM-QA) 워크숍에서 개최되는 QANTA 2026 공동 챌린지에 저희의 제출물을 발표합니다. Quanta는 점진적으로 공개되는 텍스트와 동반 이미지를 바탕으로 피라미드 스타일 질문에 답하는 멀티모달 퀴즈볼 시스템을 실제 효율성 제약 조건 하에서 평가합니다. 이 챌린지는 두 가지 별개의 과제로 구성됩니다: 불확실성 속에서 언제 답변할지 결정해야 하는 토스업(Tossup) 질문과 정확한 답변 선택 및 인간의 수용을 강조하는 보너스(Bonus) 질문입니다. 이러한 상이한 목표를 다루기 위해, 저희는 작업별 두 에이전트 아키텍처를 개발했습니다. 저희의 Tossup 에이전트는 신뢰도 보정된 답변과 도메인 특화 숫자 추론 정책을 갖춘 GPT-4o-mini급 모델(경쟁 로그에서는 GPT-4.1-mini로 언급됨)을 활용하여, 고립된 정량적 단서로부터 오는 과신성 예측을 줄입니다. 저희의 Bonus 에이전트는 리딩 인지(leadin-aware reasoning), 구조화된 관계 추론, 멀티모달 증거 통합을 갖춘 GPT-4o급 모델(경쟁 로그에서는 GPT-4.1로 언급됨)을 사용하여 정확한 답변 선택 능력을 향상시킵니다. 검색 파이프라인이나 모델 앙상블에 의존하기보다는, 저희의 접근 방식은 호스팅 전용 환경 내에서 효율적인 추론 정책과 신뢰도 보정에 중점을 둡니다. 저희 시스템은 Tossup 점수 0.238 및 Bonus 효과 점수 0.164를 포함하여 총 리더보드 최고 점수인 0.402를 달성했습니다. 이 결과는 경량의 작업별 추론 전략이 자원 제약적인 멀티모달 질의응답 벤치마크에서 강력한 성능을 제공할 수 있음을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기