탭을 누를 것인가 말 것인가: 행동 신호와 주의력 확인을 통한 AI 코드 완성 도구의 비판적 참여 측정

Github Copilot과 같은 AI 코드 완성 (AI code completion) 도구들은 학생들이 프로그램을 작성하는 데 도움을 주기 위해 코드 제안을 제공합니다. 그러나 최근의 질적 연구들은 학생들이 이러한 제안들을 비판적으로 평가하는 데 실패하고 있음을 시사합니다. 우리는 학생들이 코드 제안과 상호작용하는 내용을 기록하고, 프로그래밍 작업 중 성찰적 참여 (reflective engagement)를 조사하기 위해 추가적으로 주의력 확인 (attention checks)을 제공하는 코드 완성 도구인 Clover를 선보입니다. 또한 우리는 문헌에 기반하여 AI 보조 프로그래밍 (AI-assisted programming)을 위한 행동 상호작용 지표 (behavioral interaction metrics)의 분류 체계를 개발했습니다. 우리는 상호작용 패턴, 주의력 확인에 대한 참여, 그리고 작업 성능 사이의 관계를 분석했습니다. 우리는 탭 수락 (tab accept) 비율이 높을수록 주의력 확인 성능이 낮게 나타나는 반면, 체류 시간 (dwell time)이 길어질수록 주의력 확인 성능이 높아진다는 것을 관찰했습니다. 마지막으로 우리는 프로그래밍 프로세스 데이터와 주의력 확인이 AI 보조 프로그래밍에서의 성찰적 참여를 어떻게 지원할 수 있는지 논의하며 결론을 맺습니다.