DevicesWorld: 이종 환경에서 크로스 디바이스 에이전트 벤치마킹

요약

본 글은 여러 장치를 아우르는 복합적인 사용자 목표를 평가하기 위한 대규모 벤치마크인 DevicesWorld를 소개한다. 이 프레임워크는 모바일, 데스크톱, IoT 세 가지 환경을 통합하여 크로스 디바이스 상호작용 및 종단 간 작업을 포함하는 6,140개의 태스크를 제공한다. 평가 결과, 기존 LLM 에이전트 시스템들은 낮은 성공률(최고 12.5%)을 보였으며, 정보 습득이나 장치 간의 의존성 처리에서 어려움을 겪는 것으로 분석되었다.

핵심 포인트

• DevicesWorld: 크로스 디바이스 협업 운영 평가를 위한 대규모 벤치마크 제공
• 모바일, 데스크톱, IoT 세 가지 환경을 통합하여 현실적인 사용자 목표 반영
• 평가된 LLM 에이전트들은 낮은 성공률(최고 12.5%)을 보여 개선 필요성 제시