Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
에이전트 기반 컴퓨터 사용(CUA) 연구에서 단일 실행 결과 보고가 초래하는 통계적 오류를 지적합니다. 데이터 추출과 실행 간 비결정성으로 인해 발생하는 높은 분산을 분석하며, 신뢰할 수 있는 평가를 위해 멀티 시드 기반 보고의 필요성을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기에이전트 기반 컴퓨터 사용 (Agentic computer-use) 강화학습 (RL)은 단일 실행 결과로 보고되곤 하며, 이러한 수치들은 오해를 불러일으킵니다. 5개의 오라클 등급 환경 (oracle-graded environments)에서 35B 컴퓨터 사용 에이전트 (CUA)에 대한 검증기 유도 수정 (verifier-guided repair)을 사용한 결과, 수정된 정책의 성공률은 상류 분산 (upstream variance)에 의해 지배된다는 것을 보여줍니다. 세 가지 셀(교차 데이터 추출 $\times$ 시드 그리드, 부트스트랩 신뢰 구간 (bootstrap CIs))에 대한 분산 성분 분해 (variance-components decomposition) 결과, 평가 분산은 무시할 수 있는 수준($\sigma_{\mathrm{eval}} \approx 0$)이며 모든 곳에서 훈련 시드 효과는 작았습니다($\leq 10%$). 대신, 이는 데이터 추출 (data draw)과 실행 간 비결정성 (run-to-run nondeterminism) 사이로 나뉘며, 가장 어려운 셀에서는 데이터 추출의 비중이 지배적($48%$)으로 상승합니다. 해당 셀에서 실행 간 분포는 이봉 분포 (bimodal)를 보이며 (Hartigan dip $p=0.07$, $k=10$), 따라서 단일 실행은 실패 모드(failure mode)를 가질 확률이 약 30%에 달하므로 평균$\pm$표준편차 (mean$\pm$std)는 잘못된 요약 방식입니다. 이러한 근거를 바탕으로 두 가지 결과가 성립합니다. 첫째, 수정 조치의 제약 정도에 따라 복구 가능성 (repairability)은 두 단계로 나뉩니다. 단일 고정 토큰은 안정적으로 설치되지만 (완료 감지 (done-detection) $0.97\pm0.06$), 개방형 수정은 부분적일 뿐입니다 — 공간 좌표 클릭 (grounding $0.53\pm0.35$) 및 생성적 필드 채우기 (generative field-fill) ($0.14\pm0.04$). 둘째, 프레임 수준의 수정은 수정 조치가 해당 작업의 유일한 남은 차단 요소일 때만 작업 성공으로 전이됩니다 (LinkedIn 8/20 대 기본 0/15, Fisher $p=0.006$). 우리는 시드 간 복제를 통해서만 샘플 효율성 곡선과 '그라운딩(grounding)은 구매할 수 없다'는 경계라는 우리 자신의 두 가지 과장된 주장을 포착할 수 있었습니다. 스트레스 테스트는 그 위험성을 외부적으로 보여줍니다: 이 분야에서 발표되는 규모의 단일 실행 개선은 유사한 환경에서 약 3분의 1의 확률로 잘못된 부호를 가질 것입니다. 우리는 일상적인 k-시드 보고를 위한 라이브러리 (cua_reliability)를 공개합니다. 우리가 알기로 이 장치는 실제 35B CUA 정책에 대한 최초의 멀티모달 세그먼트 집계 온-정책 자기 증류 (multimodal segment-aggregated on-policy self-distillation, SA-OPSD) 업데이트입니다.