유창하지만 틀린: LLM 기반 코드 현대화에서의 자기 검토(Self-Review) 실패

요약

LLM을 이용한 레거시 코드 현대화 과정에서 모델이 자신의 출력 결과가 동작을 변경했는지 스스로 검토하는 능력이 부족함을 연구했습니다. 실험 결과, 모델의 성능이나 가격과 상관없이 특정 코드 구조에서 의미론적 오류가 빈번하게 발생하며 자기 검토 기능이 신뢰할 수 없는 안전망임을 확인했습니다.

핵심 포인트

• LLM의 자기 검토(Self-review)는 코드 동작 보존을 보장하지 못함
• 의미론적 보존 드리프트는 모델 규모보다 작업 구조적 특성에 좌우됨
• 특정 수치 의미론 스니펫에서 모델 간 공통적인 실패가 관찰됨
• 모델이 오류를 인지하면서도 동작이 보존되었다고 잘못 판단하는 사례 존재