LLM 기반 에이전트는 모바일 애플리케이션, 데스크톱 시스템, 스마트 홈과 같은 개별 디지털 환경을 운영하는 능력이 빠르게 향상되었습니다. 하지만 실제 사용자 목표는 종종 여러 장치를 아우릅니다. 정보가 휴대폰에서 오고, 데스크톱에서 처리되며, 그 결과가 다른 장치에 표시되어야 할 수 있습니다. 기존의 대부분의 벤치마크는 단일 지배적 실행 환경에 초점을 맞추고 있어, 에이전트가 이종(heterogeneous) 장치들 전반에서 정보를 습득하고 통합하여 크로스 디바이스 의존성을 가진 종단 간(end-to-end) 작업을 완료할 수 있는지 평가하기 어렵습니다. 우리는 크로스 디바이스 협업 운영을 위한 대규모 실행 가능한 벤치마크인 DevicesWorld를 소개합니다. DevicesWorld는 6,140개의 태스크를 포함하며, 모바일, 데스크톱, IoT 세 가지 클래스의 장치 환경을 통합된 크로스 디바이스 상호작용 및 평가 프레임워크에 담았습니다. 각 태스크는 자연어 사용자 목표, 참여 장치 및 초기 상태, 실행 가능한 액션, 규칙 기반 검증기(rule-based verifiers), 그리고 정리 절차를 정의합니다. 다단계 구성 및 품질 관리 파이프라인은 태스크가 현실적인 사용자 요구사항과 가깝게 유지되도록 하면서도, 최종 결과가 장치 상태와 생성된 파일로부터 자동으로 검증될 수 있도록 합니다. 우리는 고정된 평가 세트에서 다섯 가지 최첨단 LLM 에이전트 시스템을 평가했습니다. 모든 방법론이 낮은 성공률을 달성했으며, 최고 성능의 경우 12.5%에 그쳤습니다. 실패한 실행 중 약 28.7%는 적어도 하나의 점수 조건(scoring condition)은 충족했지만 여전히 전체 태스크를 완료하는 데 실패했습니다. 궤적(Trajectories)을 분석해 보면, 에이전트들이 정보 습득이나 인터페이스 조작에 막히거나, 출처 장치와 출력 장치를 혼동하거나, 모든 조건이 공동으로 만족되기 전에 종료되는 경향을 보였습니다. DevicesWorld는 크로스 디바이스 협업 운영을 실행 가능하고(executable), 재현 가능하며(reproducible), 진단적으로 유용한 평가 문제로 변환하여 신뢰할 수 있는 크로스 디바이스 에이전트에 대한 연구를 지원합니다.