테스트 전 코딩의 위험성에 대하여: LLM 기반 테스트 생성 워크플로우에 대한 실증적 연구

요약

LLM이 생성한 코드의 결함이 테스트 생성 과정에 편향을 일으켜 결함을 은폐하는 '오류 전파' 현상을 실증적으로 연구했습니다. 연구 결과, 결함 있는 코드를 기반으로 테스트를 생성할 경우 결함 탐지율이 독립 생성 시보다 현저히 낮아짐을 확인했습니다.

핵심 포인트

• LLM 생성 코드의 결함이 테스트 산출물로 전파되는 현상 발견
• 결함 있는 코드 기반 테스트 생성 시 결함 탐지율 급감 (25% -> 14%)
• CoT 등 프롬프팅 전략을 사용해도 오류 전파 편향은 지속됨
• 자동화된 테스팅 워크플로우에서 산출물 간 독립성 확보의 중요성 강조