에이전트(Agents)는 소프트웨어 작업을 자동화하는 능력이 점점 향상되고 있지만, 인간에게 소프트웨어 사용법을 직접 가르칠 수 있을까요? 우리는 5개의 소프트웨어 애플리케이션에 걸쳐 28.1시간의 화면 및 입력 이벤트 기록을 바탕으로 구성된 22,752개의 대화 턴을 포함하는 72개의 인간 전문가-초보자 컴퓨터 사용 코칭 세션으로 이루어진 멀티모달(multimodal) 데이터셋인 DigitalCoach를 소개합니다. 우리는 최첨단 모델들이 인간에게 컴퓨터 사용법을 가르칠 수 있는지 평가하기 위해 DigitalCoach를 사용합니다. 자동화된 평가 결과, 모델은 코칭 방식에 있어 인간과 차이를 보였습니다. 모델은 더 직접적인 지시를 제공하지만, 설명, 오류 진단 및 지식 확인 질문은 더 적게 제공합니다. 코칭 방식을 수정했을 때, 모델은 인간의 참조 데이터와 유사한 발화를 생성하지만 시각적 문맥(visual context)에 대한 그라운딩(grounding)은 미흡했습니다. 대화형 평가(Interactive evaluation)를 통해 모델 코치가 학습자로 하여금 더 깊은 참여 없이 지시를 수동적으로 따르게 만들며, 시각적 그라운딩(visual grounding) 측면에서 부족함이 있음을 확인했습니다. DigitalCoach는 협력적이고 능동적인 컴퓨터 사용 코칭 에이전트를 위한 토대를 마련합니다.