코드 투어(Code tours)는 개발자가 코드베이스를 탐색할 수 있도록 안내하는 대화형 온보딩 문서입니다. 대규모 언어 모델 (LLMs)은 코드 투어를 자동으로 합성할 수 있습니다. 기존의 코드 투어 생성에 관한 연구들은 오픈 웨이트 (open-weight) LLM이 생성하고 평가한 코드 투어를 사용하여 익숙하지 않은 코드베이스를 디버깅할 때, 개발자의 경험이나 신뢰 보정 (trust calibration)에 대해 연구하지 않았습니다. 본 연구는 오픈 웨이트 LLM이 작성한 코드 투어 내 구성 요소의 특성이 익숙하지 않은 코드베이스를 디버깅할 때 개발자의 경험에 어떤 영향을 미치는지 조사합니다. 우리는 실제 재현 가능한 버그로부터 코드 투어를 생성하고 평가하는 파이프라인을 구축했습니다. 다양한 배경을 가진 26명의 개발자가 사용자 연구에 참여했습니다. 총 26개의 코드 투어는 2025년 GitHub 커밋에서 추출한 실제 Java 버그를 바탕으로 작성되었으며, 각 투어는 두 개의 서로 다른 LLM에 의해 독립적으로 판단되어 총 52개의 평가된 구성 (configurations)이 생성되었습니다. 참가자들은 각 투어를 탐색하면서 생각 소리 내어 말하기 (think aloud) 방식으로 진행했습니다. 세 명의 저자가 인터뷰 내용을 질적으로 코딩하여 반복되는 주제를 식별했습니다. 개발자들은 일반적으로 코드 길이에 따라 상세 수준을 조절하고, 단순히 코드를 재진술하는 것을 피하며, 쉽게 훑어볼 수 있고, 안내하는 어조를 채택한 투어를 선호했습니다. 그러나 명령법 (imperative mood)의 사용과 같이 일부 선호도는 서로 상충되었습니다. 스택 트레이스 (Stack traces)는 개발자가 관련 있다고 느끼는 모든 단계를 식별하기에 불충분한 경우가 많았습니다. 또한 개발자들은 AI가 생성했다고 믿는 설명보다 사람이 작성했다고 인지하는 설명을 더 신뢰했습니다. 마지막으로, 투어 품질에 대한 LLM 생성 주석 (annotations)은 신뢰할 수 없었습니다. 아첨 (sycophancy), 환각 (confabulation), 그리고 비일관성 (incoherence)이 만연했습니다. 본 연구는 코드 투어 생성을 위한 오픈 웨이트 모델의 미세 조정 (fine-tuning), 상충하는 선호도를 수용하기 위한 생성의 개인화, 스택 트레이스를 넘어선 관련 단계 선택, 사용하지 않거나 오용하는 것을 방지하기 위한 사용자의 신뢰 보정, 그리고 더 신뢰할 수 있는 평가자가 되기 위한 오픈 웨이트 LLM의 능력 향상에 관한 향후 연구의 기초를 마련합니다.