실제 소프트웨어 성능 최적화에 대한 LLM 평가

소프트웨어 성능 최적화 (Software performance optimization)는 악명 높을 정도로 복잡하고 수동적인 작업입니다. 코드 개선을 위한 대규모 언어 모델 (LLMs)의 사용이 증가하고 있음에도 불구하고, 실제 코드베이스에서 최적화가 실제로 어떻게 일어나는지를 포착하는 벤치마크는 여전히 부족한 실정입니다. 기존 프레임워크들은 고립된 함수나 단일 성능 지표에 집중함으로써 문제를 지나치게 단순화하는 경향이 있으며, 실행 시간과 메모리 사용량 (memory footprint) 사이의 중요한 트레이드오프 (trade-offs), 측정 환경의 내재된 노이즈, 그리고 서로 다른 입력 데이터 및 실행 조건에 의해 발생하는 가변성을 놓치고 있습니다. 우리는 오픈 소스 프로젝트에서 추출한 102개의 전문가 작성 최적화 사례를 바탕으로 도출된 저장소 수준 (repository-level) 벤치마크인 SWE-Pro를 도입하여 이 문제를 해결합니다. 이전의 벤치마크들과 달리, SWE-Pro는 각 작업에 매개변수화된 테스트 (parameterized tests)를 결합하여 노이즈를 인지하는 측정 조건 (noise-aware measurement conditions) 하에서 다양한 입력 데이터와 실행 조건에 따른 실행 시간 (runtime), 피크 메모리 (peak memory), 그리고 시간 가중 메모리 사용량 (Time-Weighted Memory Usage, TWMU)을 평가합니다. 우리의 평가 결과에 따르면 현재의 LLM들은 상당한 어려움을 겪고 있습니다: 실행 시간 이득은 미미하며, 메모리 최적화는 거의 존재하지 않습니다. 이는 벤치마크 작업에 대해 총 15.5배의 속도 향상과 171.3배의 피크 메모리 감소를 달성한 전문가의 구현과 극명한 대조를 이룹니다. 전문가가 작성한 개선 사항은 실행 시간의 경우 작업의 91.2%, 피크 메모리의 경우 65.7%에서 관찰되었습니다. 우리의 연구 결과는 현재의 LLM 능력과 전문가 수준의 엔지니어링 요구 사항 사이에 상당한 격차가 있음을 드러냅니다.