오프로딩 스코어 (Offloading Score): 반사실적 워크플로우를 통한 AI 의존도 측정

원문 발행 2026. 05. 28. 14:44원문 언어 영어AI 한국어 번역arXiv Codex (cs.SE) 원문 보기

요약

AI 도구에 대한 의존도를 정량화하기 위해 반사실적 워크플로우를 활용한 '오프로딩 스코어(Offloading Score)'를 제안합니다. 기존의 자기 보고식 지표와 달리, 도구 사용 시 절약된 인지적 노력의 비율을 시뮬레이션하여 측정합니다. 사용자 연구를 통해 시간 압박 상황에서의 의존도 변화를 효과적으로 감지함을 검증했습니다.

핵심 포인트

반사실적 워크플로우 기반의 새로운 AI 의존도 측정 지표 제안
기존 지표 대비 시간 압박에 따른 의존도 변화를 정밀하게 포착
인지적 노력의 위임 정도와 출력물 재사용 패턴 분석
에이전트 설계자가 과도한 의존을 완화하는 데 활용 가능

AI 도구는 실제 워크플로우 (Workflows)에 점점 더 통합되고 있습니다. 그러나 이러한 도구에 대한 기존의 의존도 측정 방식은 작업 노력이 사용자과 도구 사이에 어떻게 분배되는지보다는, AI 출력물의 채택 여부나 자기 보고식 지표 (Self-reported indicators)에 초점을 맞추고 있습니다. 본 연구에서는 AI 도구로 오프로딩 (Offloading)된 인지적 노력의 비율을 정량화하는 의존도 측정 지표인 오프로딩 스코어 (Offloading Score)를 소개합니다. 오프로딩 스코어는 시뮬레이션 기반입니다. 즉, 도구 없이 사용자가 작업을 어떻게 완료했을지 추정하여 반사실적 워크플로우 (Counterfactual workflow)를 구축한 다음, 도구를 사용함으로써 절약된 단계의 비율을 계산합니다. 우리는 지표 타당성에 대한 내재적 평가와, AI 도구를 사용하여 프로그래밍 작업을 수행하는 개발자들을 대상으로 한 통제된 사용자 연구 ($n=40$)를 통해 오프로딩 스코어를 검증합니다. 우리는 시간 압박 (Time pressure)을 변화시켜, 의존도 측정치가 시간 압박 상황에서 나타나는 알려진 의존도 증가를 포착하는지 테스트합니다. 연구 결과, 사용량 기반 및 자기 보고식 기준 의존도 측정치는 조건 간의 차이를 구분하지 못한 반면, 오프로딩 스코어는 시간 제약이 있는 환경에서 유의미하게 더 높은 의존도를 감지했습니다 ($+43%$, $p=0.018$). 우리는 더 높은 의존도가 도구에 대한 하위 작업 (Subtasks)의 더 큰 위임과 AI 출력물의 더 직접적인 재사용으로 나타난다는 기술적 통찰을 통해 이를 보완합니다. 마지막으로, 우리는 오프로딩 스코어를 작업의 목표 결과(예: 코드 이해)와 결합하여 의존도가 언제 (부적절하게) 나타날 수 있는지 식별하는 접근 방식을 보여줍니다. 우리의 프레임워크는 두 가지 기여를 제공합니다: 사용자가 자신의 의존도를 측정하고 성찰하는 데 적용할 수 있는 도구, 그리고 에이전트 설계자 (Agent designers)가 과도한 의존 (Overreliance)을 완화하기 위해 활용할 수 있는 정량적 신호입니다.

AI 자동 생성 콘텐츠

원문 바로가기

오프로딩 스코어 (Offloading Score): 반사실적 워크플로우를 통한 AI 의존도 측정

요약

핵심 포인트

댓글