커버리지와 뮤테이션을 넘어선 분석: LLM이 생성한 단위 테스트의 사각지대 분석

요약

본 기사는 기존의 커버리지 지표가 LLM 생성 단위 테스트의 사각지대를 식별하지 못함을 지적합니다. 이에 따라 의무 기반 평가 프레임워크인 BlindSpotEval을 제안하며, 경계값 적절성 등을 통해 실행 신뢰성을 보완합니다. 분석 결과, LLM은 정상 흐름에만 집중하는 '이상적인 경로 편향'을 보여 예외 처리나 특이 값 테스트가 부족한 문제가 발견되었습니다.

핵심 포인트

• 기존 커버리지 지표는 행동적 의무(behavioral obligations)를 식별하지 못함.
• BlindSpotEval은 경계값 적절성 등 의무 기반 평가 프레임워크를 제안함.
• LLM 생성 테스트는 '이상적인 경로 편향'을 보여 예외 처리가 취약함.
• 잘못된 단언(incorrect assertions)이 테스트 실패의 주요 원인으로 확인됨.