현대화 과정에서 작동하는 코드가 깨질 때: 레거시 PHP에 대한 LLM의 단일 파일 연구

요약

본 연구는 프로젝트 컨텍스트 없이 LLM이 레거시 PHP 코드를 현대화할 때 발생하는 문제를 분석했습니다. 다섯 개 LLM을 사용하여 100개 파일을 테스트한 결과, LLM들은 작동하는 코드를 불필요하게 깨뜨리는 경향이 강했습니다. 따라서 현대화 평가는 동작 보존과 분리하여 측정해야 한다고 결론지었습니다.

핵심 포인트

• LLM은 프로젝트 컨텍스트 없이도 작동하는 코드를 불필요하게 깨뜨린다.
• 가장 높은 점수를 받은 LLM조차 원본 코드보다 호환성이 높지 않았다.
• 변경이 필요 없는 파일에서도 LLM들은 36~60%의 파일을 손상시켰다.
• 현대화 평가는 동작 보존과 분리하여 측정하는 것이 필수적이다.