신뢰 보정 기반 코드 리뷰: LLM이 생성한 다중 파일 변경 사항에 대한 리뷰 워크플로우 참여적 설계 연구

배경: 개발자들은 LLM(Large Language Model) 기반 에이전트가 생성한 다중 파일 코드 변경 사항을 점점 더 많이 리뷰하고 있지만, 이 시나리오를 위한 검증된 엔드-투-엔드(end-to-end) 워크플로우나 IDE(Integrated Development Environment) 도구 설계는 존재하지 않습니다. 목적: 본 연구는 (RQ1) 개발자들이 LLM이 생성한 다중 파일 변경 사항을 리뷰할 때 직면하는 어려움을 조사하고, (RQ2) 개발자들이 이 작업을 위한 효과적인 워크플로우를 어떻게 구상하는지 조사합니다. 방법: JetBrains와의 협업을 통해, 우리는 발견(Discover), 정의(Define), 개발(Develop), 전달(Deliver) 단계로 구성된 더블 다이아몬드(double-diamond) 디자인 프로세스를 사용하여 구조화된 참여적 설계(participatory design) 연구를 수행했습니다. 산업 현장의 실무자들이 발견(Discover) 단계에 참여했습니다 (N=17). 이 중 7명이 개발(Develop) 단계에 다시 참여했습니다. 정의(Define) 단계는 저자 주도의 종합 과정으로 진행되었습니다. 전달(Deliver) 단계에서는 개념적 설계와 고충실도(high-fidelity) 반상호작용(semi-interactive) 프로토타입을 제작하였으며, N=43명의 실무자를 대상으로 한 후속 설문조사를 통해 평가되었습니다. 결과: 참가자들은 신뢰 보정(trust-calibration)을 핵심 과제로 식별했습니다. 본 연구는 7가지 디자인 구성 요소(청크(chunk), 라인당 위험(risk-per-line), 파일당 위험(risk-per-file), 판단(judge), 워크스루(walk-through), 확대/축소(zooming in/out), 보안 케이지(security cage))로 지원되는 3단계 리뷰 워크플로우(개요(overview), 파일 분석(file-analysis), 코드 스니펫 리뷰(code snippet review))를 도출했습니다. 검증 설문조사에서 세 가지 워크플로우 단계 모두 중립 중간값 이상의 점수를 기록했습니다 (5점 척도 기준 평균 3.50~3.91). 응답자의 63%는 현재 도구와 비교했을 때 전반적인 리뷰 노력이 감소할 것으로 기대했으며, 52%는 신뢰 평가(trust-assessment) 노력이 감소할 것으로 기대했습니다. 이러한 결과는 해당 디자인 구성 요소들이 향후 도구 개발을 위한 긍정적인 방향을 제시함을 시사합니다. 결론: LLM이 생성한 다중 파일 변경 사항을 리뷰하는 것은 디핑(diffing)의 문제라기보다 신뢰 보정(trust-calibration)의 문제입니다. 본 연구에서 보고하는 3단계 워크플로우와 7가지 구성 요소는 도구 설계자들에게 개발자가 주의를 기울이는 세밀한 수준(granularity)에서 위험 및 신뢰 신호를 드러내는 AI 준비형(AI-ready) 코드 리뷰 도구를 구축하기 위한 개념적 프레임워크를 제공합니다.