LoCar: 미세한 사회언어학적 제어를 통한 차량 내 어시스턴트의 현지화 인식 평가

대규모 언어 모델 (LLMs)이 차량 내 대화형 시스템에 점점 더 통합되고 있지만, 실제 배포 요구 사항에 맞춘 도메인 특화 평가 표준의 부재로 인해 최적의 모델을 식별하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 특히 한국어 현지화 (localization)에 초점을 맞춘 차량 내 어시스턴트를 위한 새로운 평가 프레임워크를 제안합니다. 우리의 실증적 분석은 모델 행동에서 주목할 만한 패턴을 드러냅니다. 첫째, 현재의 LLMs에서 미세한 한국어 경어 (honorific) 제어는 여전히 불안정하며, 이는 현지화 설정에서 정밀한 언어 예절 수준 (speech-level) 구현이 명시적으로 평가되어야 함을 나타냅니다. 둘째, 모델들은 명료화 (clarification) 및 주도성 (proactivity)과 같은 전략적 대화 지표에서 더 약한 성능을 보입니다. 우리의 분석은 이것이 이러한 작업들의 내재적인 주관적 복잡성에서 기인함을 시사하며, 우리의 프레임워크는 신뢰성을 우선시하기 위해 보수적인 평가 입장을 채택합니다. 종합적으로, 우리의 연구 결과는 자동차 AI가 일반적인 역량을 넘어 정밀한 언어적 맞춤화와 신뢰할 수 있는 안전 지향적 상호작용 관리로 나아가야 함을 강조합니다.