코딩 LLM 내의 암시적 소프트웨어 월드 모델(Software World Models) 평가를 향하여

요약

코딩 LLM이 소프트웨어의 동작 원리를 이해하는 '소프트웨어 월드 모델' 능력을 평가하는 새로운 방법론을 제안합니다. 기존의 제어 흐름 중심 평가를 넘어 실행 리소스, 메모리, 실행 시간 등을 예측하는 능력을 측정하며, 현재 모델들이 실행 메커니즘 이해에 취약함을 밝힙니다.

핵심 포인트

• 소프트웨어 월드 모델 개념 정의 및 실행 리소스 중심의 새로운 평가 축 제안
• 메모리 사용량, 실행 시간, 프로파일러 출력 등 다각도 예측 능력 측정
• SWE-bench Verified를 활용하여 실제 엔지니어링 작업과 유사한 환경 구축
• 프런티어 모델들이 코드 작성 능력에 비해 실행 동작 이해도가 낮음을 확인