LOPA: 잠재 순서 프로토타입 정렬 (Latent Ordinal Prototype Alignment)을 통한 구어 평가 (Spoken

요약

LOPA는 멀티모달 거대 언어 모델(MLLM)의 구어 평가(SLA) 시 언어 습득의 순서 구조를 반영하기 위해 제안된 새로운 프레임워크입니다. 잠재 공간에 순서 기하학적 사전 정보를 강제하는 정규화 도구를 통해 효율적인 모델링을 지원합니다.

핵심 포인트

• LOPA는 잠재 공간에 순서 기하학적 사전 정보를 강제하는 정규화 도구임
• SALR 기술을 통해 Whisper 인코더로부터 다중 깊이 표현을 적응적으로 수집
• LLM 미세 조정 없이도 수십억 파라미터 규모의 시스템과 대등한 성능 달성
• 기존 규모 중심 모델의 대안으로 해석 가능하고 순서 인지적인 모델링 제공