10억 개 이상의 파라미터를 가진 멀티모달 감정 언어 모델이 정말 필요한가?

원문 발행 2026. 07. 14. 23:01원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

본 논문은 대규모 파라미터의 멀티모달 감정 언어 모델(MLLMs)이 필수적인지에 의문을 제기하며, 지식 증류를 통해 경량화된 MER 프레임워크인 Light-MER를 제안합니다. 이 방법은 거대 교사 모델의 지식을 서브-10억 파라미터 학생 모델로 전이하여, 높은 감정 인식 성능과 뛰어난 배포 효율성을 동시에 달성하는 것을 목표로 합니다.

핵심 포인트

지식 증류(Knowledge Distillation)를 활용한 경량 MER 프레임워크 Light-MER 제안
대규모 모델의 지식을 서브-10억 파라미터 학생 모델로 전이하여 효율성 개선
새로운 최적 수송 손실 및 GRPO 기반 다중 보상 최적화 전략 도입
9개 벤치마크에서 최고 수준 성능과 높은 추론 효율성을 입증

멀티모달 대규모 언어 모델(MLLMs)의 최근 발전은 멀티모달 감정 인식(MER) 성능을 크게 향상시켰고, 비디오, 오디오, 언어 등을 공동으로 모델링하여 해석 가능한 설명 생성을 가능하게 했습니다. 하지만 이러한 성능 향상은 종종 모델 파라미터 크기 증가(예: 최소 7B)를 동반하며, 이는 높은 계산 비용을 발생시키고 추론 효율성을 저하시켜 로봇이나 모바일 장치와 같은 자원 제약 플랫폼에서의 실시간 배포를 어렵게 만듭니다. 이로 인해 근본적인 질문이 제기됩니다: 고품질 MER을 위해 정말 10억 개 이상의 파라미터를 가진 멀티모달 MER 모델이 필요한가? 본 논문에서는 더 큰 모델이 본질적으로 필요하다는 가설에 도전하며, 지식 증류(knowledge distillation)를 통해 더 좋고 빠른 멀티모달 감정 이해 및 인식을 달성하는 경량 MER 프레임워크(Light-MER)를 제안합니다. 이는 강력하고 대규모의 교사 모델(teacher model)의 지식을 경량의 서브-10억 파라미터 학생 모델(student model)로 전이하여, 풍부한 멀티모달 감정 추론 및 인식을 유지하는 동시에 배포 효율성을 크게 개선하는 것을 목표로 합니다. 구체적으로, 지식 전달을 향상시키기 위해 두 가지 새로운 최적화 전략을 도입합니다: (1) 슬라이스드 바서슈타인 거리(Sliced Wasserstein Distance)와 은닉 상태 정렬을 결합한 새로운 최적 수송 손실(optimal transport loss), 그리고 (2) MER 성능과 효율성을 균형 있게 맞추는 GRPO 기반의 새로운 다중 보상 최적화 전략으로, 학생 모델의 학습 능력을 더욱 향상시키는 것을 목표로 합니다. 9개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 Light-MER가 추론 효율성을 크게 개선하는 동시에 최고 수준의 성능(state-of-the-art performance)을 달성함을 입증했습니다. 이는 미래 연구를 위한 소규모 멀티모달 감정 언어 모델의 강력한 잠재력을 강조합니다. 코드는 https://github.com/GAIR-Lab/Light-MER에서 이용 가능합니다.

AI 자동 생성 콘텐츠

원문 바로가기

10억 개 이상의 파라미터를 가진 멀티모달 감정 언어 모델이 정말 필요한가?

요약

핵심 포인트

댓글