로컬 LLM이 생성 및 평가한 코드 투어를 활용하여 익숙하지 않은 코드베이스를 디버깅할 때 개발자가 경험하는 방식

요약

오픈 웨이트 LLM이 생성한 코드 투어가 개발자의 코드베이스 디버깅 경험과 신뢰에 미치는 영향을 연구한 논문입니다. 개발자들은 코드 길이에 따른 상세 조절과 안내하는 어조를 선호하지만, AI 생성 설명에 대한 신뢰도는 사람의 작성물보다 낮게 나타났습니다.

핵심 포인트

• LLM 생성 코드 투어의 구성 요소가 개발자 경험에 미치는 영향 조사
• 개발자는 단순 코드 재진술보다 안내하는 어조와 적절한 상세 수준 선호
• AI 생성 설명에 대한 개발자의 신뢰도가 사람의 작성물보다 낮음
• LLM의 품질 평가 시 아첨, 환각, 비일관성 문제 발생 확인