객체 설명에 대한 추론이 작업 기반 대화 시스템에서의 동사대명어 해결을 개선합니다

요약

본 연구는 작업 기반 대화 시스템에서 필수적인 동사대명어 해결(Coreference Resolution)의 정확도를 높이는 새로운 접근 방식을 제안합니다. 기존 모델들이 도메인 특이적 데이터에 과적합되는 한계를 극복하기 위해, 이 연구는 대규모 언어 모델(LLMs)을 활용하여 상세한 객체 메타데이터와 대화 역사를 추론하는 단일 모드 테스트 시간 추론 방법을 제시했습니다. 실험 결과는 LLM이 장면 내의 객체와 대화 문맥을 효과적으로 연결하며, 미지의 시나리오에서도 뛰어난 일반화 성능을 보여주었음을 입증합니다.

핵심 포인트

• 작업 기반 대화 시스템에서 정확한 동사대명어 해결은 핵심적인 과제이며, 이는 복잡한 시각적 환경에서 특히 어렵습니다.
• 기존의 감독 학습 모델들은 도메인 일반화 능력이 부족하고 데이터셋에 과적합되는 한계가 있었습니다.
• 본 연구는 LLMs를 활용하여 객체 메타데이터와 대화 역사를 통합적으로 추론하는 '단일 모드 테스트 시간 추론' 접근법을 제안했습니다.
• 제안된 방법은 퓨 샷(few-shot) 설정 하에서 미지의 시나리오에 대해 효과적인 일반화 능력을 보여주었으며, 구조화된 메타데이터와 프롬프트 엔지니어링의 중요성을 강조합니다.