승인되었지만 잘못된: API 마이그레이션 후 LLM 코드 수정의 침묵적 실패

요약

본 연구는 API 마이그레이션 등 시스템 변경 후 LLM으로 수리된 코드가 일반 테스트를 통과하더라도 실제 런타임에서 잘못된 결과를 반환할 수 있음을 보고합니다. CPython, Node.js 등 다양한 환경에서 진행된 사전 등록 연구 결과, 표준 검사보다 '엣지 입력'을 활용한 테스트가 모델의 정확도를 유의미하게 개선하는 것으로 나타났습니다.

핵심 포인트

• LLM 수정 코드는 일반적인 릴리스 검사를 통과해도 실제 환경에서 오류를 발생시킬 수 있습니다.
• '엣지 입력(edge input)'을 활용한 테스트가 모델이 놓치기 쉬운 취약점을 발견하는 데 효과적입니다.
• 다양한 모델 계열 전반에 걸쳐, 엣지 입력은 잘못된 릴리스 수를 줄이는 성능 향상을 보였습니다.
• 모델 자체의 테스트만으로는 잠재적인 오류를 완전히 검증하기 어렵습니다.