다이어그램이 풍부한 기술 회의 영상을 위한 질의응답 시스템
요약
본 논문은 기술 회의 영상을 위한 LLM 기반 멀티모달 질의응답 시스템인 LMVQA를 개발하고 그 성능을 보고합니다. LMVQA는 오디오와 비주얼 증거에 근거하여 요구사항 및 설계 의도를 이해하며, UML 다이어그램 같은 다이어그램이 풍부한 콘텐츠를 명시적으로 처리할 수 있습니다. 이 시스템은 답변 정확도 향상과 함께 검색 시간을 획기적으로 단축하고 API 비용을 절감하는 효과를 입증했습니다.
핵심 포인트
- 다이어그램 기반 기술 회의 영상에 특화된 질의응답 시스템(LMVQA) 개발.
- 오디오와 비주얼 증거를 통합하여 요구사항 및 설계 의도를 이해함.
- 질문 답변 정확도가 크게 향상되었으며, 검색 시간과 API 비용도 절감됨.
- 엔지니어들이 정보 탐색, 근거 재검토 등에 높은 가치를 부여함.
소프트웨어 엔지니어링은 이해관계자들이 우려 사항, 근거 및 결정을 논의하는 녹화된 회의를 포함하여 비동기적 커뮤니케이션 아티팩트에 점점 더 의존하고 있습니다. 이러한 회의에는 종종 요구사항, 시스템 동작, 컴포넌트 상호작용 및 추적 종속성을 나타내는 다이어그램 기반 표현이 포함됩니다. 녹화된 자료는 길고 관련 증거가 음성, 슬라이드 및 기술 다이어그램 전반에 분산되어 있기 때문에 이러한 회의에서 지식을 얻는 것은 어렵습니다. 본 논문은 기술 회의 영상을 위한 LLM 기반 멀티모달 질의응답 시스템인 LMVQA를 개발하고 평가한 산업 경험을 보고합니다. Ciena 엔지니어들과 협력하여 개발된 LMVQA는 요구사항 및 설계 의도를 오디오와 비주얼 증거에 근거하여 이해하며, 요구사항이나 UML 다이어그램과 같은 다이어그램이 풍부한 콘텐츠를 명시적으로 처리합니다. 이 시스템은 각 영상을 한 번 처리하여 근거 기반 질의응답을 위한 재사용 가능한 타임스탬프가 지정된 증거 코퍼스를 구축합니다. Ciena 데이터셋과 공개 데이터셋 전반에 걸쳐, 우리는 LMVQA가 최신 기술 수준의 기준선 대비 답변 정확도를 크게 향상시킨다는 것을 보여줍니다. Ciena 데이터셋에서는 31%에서 94%로, 공개 데이터셋에서는 21%에서 88%로 개선되었으며, 특히 다이어그램이 풍부한 영상에서 더 큰 성능 향상을 보였습니다. 나아가, 한 번의 인덱싱 후 LMVQA가 Ciena에서는 평균 응답 시간을 81.3초에서 3.3초로, 공개 데이터셋에서는 98.4초에서 9.2초로 줄이는 동시에, 토큰 기반 LLM API 비용을 약 75% 절감함을 보여줍니다. 마지막으로, 세 명의 도메인 전문가와의 인터뷰를 통해 엔지니어들은 LMVQA가 소프트웨어 엔지니어링 관련 정보를 찾는 것, 근거를 재검토하는 것, 그리고 답변을 특정 영상 세그먼트에 추적하는 데 특히 가치가 있다고 평가했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기