다이어그램이 풍부한 기술 회의 영상을 위한 질의응답 시스템

요약

본 논문은 기술 회의 영상을 위한 LLM 기반 멀티모달 질의응답 시스템인 LMVQA를 개발하고 그 성능을 보고합니다. LMVQA는 오디오와 비주얼 증거에 근거하여 요구사항 및 설계 의도를 이해하며, UML 다이어그램 같은 다이어그램이 풍부한 콘텐츠를 명시적으로 처리할 수 있습니다. 이 시스템은 답변 정확도 향상과 함께 검색 시간을 획기적으로 단축하고 API 비용을 절감하는 효과를 입증했습니다.

핵심 포인트

• 다이어그램 기반 기술 회의 영상에 특화된 질의응답 시스템(LMVQA) 개발.
• 오디오와 비주얼 증거를 통합하여 요구사항 및 설계 의도를 이해함.
• 질문 답변 정확도가 크게 향상되었으며, 검색 시간과 API 비용도 절감됨.
• 엔지니어들이 정보 탐색, 근거 재검토 등에 높은 가치를 부여함.