PEC-Home: 스마트 홈에서의 점진적 생략 명령(Progressively Elliptical Commands) 해석

최근 대규모 언어 모델 (LLMs)의 발전은 홈 어시스턴트에게 자연어 상호작용 능력을 부여했습니다. 그러나 현재의 어시스턴트들은 공유된 문맥이 축적됨에 따라 인간의 대화에서 발생하는 점진적 생략(progressive omission)을 간과하고 있으며, 이는 효율적인 의사소통을 위한 더 많은 생략적 표현(elliptical expressions)으로 이어집니다. 따라서 현재의 어시스턴트들은 이러한 생략적 표현을 정확하게 해석하는 데 여전히 어려움을 겪고 있으며, 이는 실제 응용 분야에서의 효과를 제한합니다. 실제 스마트 홈 시나리오에서 어시스턴트는 생략된 명령으로 인해 발생하는 두 가지 주요 과제에 직면합니다: (1) 여러 사용자 간의 서로 다른 환경적 기대치로 인해 발생하는 지시 대상의 모호성 (referential ambiguity); (2) 시간이 지남에 따라 진화하거나 환경에 따라 변하는 사용자 선호도로 인해 발생하는 의도 모호성 (intention ambiguity). 이러한 과제를 해결하기 위해, 우리는 스마트 홈에서 점진적으로 생략되는 명령을 해석하기 위해 특별히 설계된 최초의 시뮬레이션 홈 데이터셋인 PEC-Home을 소개합니다. GPT-4o를 포함한 다양한 LLMs에 대한 광범위한 실험 결과, 기존의 홈 어시스턴트들은 생략된 명령만을 기반으로 사용자가 의도한 작업을 실행하는 데 어려움을 겪는 것으로 나타났습니다. 사용자 대화 기록을 저장하고 검색하는 도구가 갖춰진 경우에도, 실행 정확도는 완전한 명령을 사용했을 때 달성되는 수준보다 낮게 유지되었습니다.