Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
OptionWorld는 LLM이 장기적인 개인 비서 역할을 수행할 때의 한계를 진단하는 새로운 벤치마크입니다. 이 연구는 시뮬레이션된 일상 과제를 통해 현재 LLM이 정보 습득, 판단, 행동 추적 등에서 미흡한 점을 식별했습니다. 분석 결과, 누락된 사실 공급이나 행동 알림 등의 개입이 작업 성공률을 높일 수 있음을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기장기적인 비서는 정보와 상황이 변함에 따라 미완료된 작업을 추적해야 합니다. 하지만 정보를 찾거나 행동을 시작하는 것이 작업이 완료됨을 보장하지는 않습니다. 우리는 OptionWorld라는 벤치마크를 소개합니다. 이 벤치마크는 시뮬레이션된 일상생활 과제에서 정보 습득, 판단, 행동 및 결과를 추적하여 현재의 LLM이 장기적인 개인 비서로서 어디에 미흡한지를 식별합니다. 보관된 결정 입력(archived decision inputs)을 사용한 실행에서는 실패 사례의 35.5%에서 핵심 사실들이 마감일 직전 모델의 마지막 입력에 남아있었습니다. 실패 분석은 세 가지 가장 빈번한 문제를 식별했습니다: 필요한 정보가 얻어지거나 결합되지 않음, 행동할 수 있는 가용 기회가 사용되지 않음, 그리고 에이전트가 작업에 필요하지 않은 제약을 부과함입니다. 세 가지 후속 실험을 통해 누락된 사실을 공급하는 것이 일부 경우에 작업 성공을 회복시키고; 행동 알림(action reminders)은 이후 단계가 여전히 마감일을 놓치더라도 작업을 재개할 수 있으며; 잘못 연락을 금지하는 메모를 수정하는 것이 허용된 조사를 복구시킬 수 있음을 보여줍니다. 이러한 발견들은 작업 상태 유지의 단점을 위치시킵니다: 사실들을 미완료된 작업에 연결하는 것, 마감일 전에 따라가는 것, 그리고 실제 제약과 에이전트의 가정(assumptions)을 분리하는 것입니다.