더 이상 임포트 오류는 없다: LLM 생성 테스트에서 보장된 유효한 임포트를 위한 제약 디코딩

LLM 기반 테스트 생성 파이프라인의 가장 흔한 실패 원인 중 하나는 임포트(import) 오류입니다. 문법 제약 디코딩(Grammar constrained decoding)은 토큰 생성을 하는 동안 LLM의 최종 레이어 확률을 수정하여 유효한 임포트를 보장할 수 있습니다. 하지만 우리는 이것이 퇴화된 솔루션, 즉 테스트가 생성되기 전에 토큰 예산을 소진시키는 반복적인 유효 임포트(import streaks)로 이어질 수 있다는 것을 발견했습니다. 우리는 Constrained Beam Decoding with Lookup (CBDL)이라는 새로운 방법을 제안합니다. 이 방법은 임포트 스트릭을 방지하기 위해 반복적인 임포트로 이어지는 토큰에 대한 성급한 확정을 피하면서도 임포트 유효성을 보장합니다. CBDL은 디코딩 단계에서 작동하므로 기존의 LLM 기반 테스트 생성 파이프라인에 통합될 수 있습니다. 우리는 Python과 Java용으로 CBDL을 구현하고 두 가지 테스트 생성 작업에 대해 평가했으며, 생성된 테스트가 100% 유효한 임포트를 갖는 것을 보여주었습니다. 이는 임포트 오류의 45%, 10%, 43%를 해결하지 못하는 정적(RAG 및 LIBRO) 및 동적(Agentic Repair) 임포트 유효성 접근 방식을 모두 능가합니다. CBDL은 평균적으로 초기 임포트 오류의 14%를 기능적으로 올바른 테스트로 변환하여, 제약 없는 생성 대비 전반적인 테스트 정확도를 14 퍼센트 포인트 증가시킵니다. 심지어 임포트 유효성이 직접적으로 올바른 테스트로 이어지지 않는 경우에도, 에이전트 기반 복구(agentic repair) 파이프라인이 나머지 오류에 복구 예산을 할당할 수 있게 하여 Python의 경우 27 퍼센트 포인트, Java의 경우 16 퍼센트 포인트만큼 올바른 테스트를 증가시킵니다. 마지막으로, CBDL을 장착한 소규모 로컬 모델이 임포트를 생성하고 최전선 GPT-5.2 모델이 테스트 본문을 생성하는 하이브리드 파이프라인은 두 가지 모두를 GPT-5.2만으로 생성하는 것보다 13 퍼센트 포인트 더 나은 성능을 보여줍니다. 전반적으로, CBDL은 LLM 기반 테스트 생성의 주요 병목 현상을 제거합니다. 적은 오버헤드(테스트당 16~21초)로 임포트 유효성을 보장함으로써, 테스트 정확도를 향상시키고 비용 효율적인 하이브리드 생성을 가능하게 합니다.