Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
소프트웨어 성능 최적화 능력을 평가하기 위한 새로운 저장소 수준 벤치마크인 SWE-Pro를 소개합니다. 기존 벤치마크의 한계를 넘어 실행 시간과 메모리 사용량 간의 트레이드오프를 정밀하게 측정합니다. 평가 결과, 현재 LLM은 전문가 수준의 최적화 성능에 크게 미치지 못함을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기소프트웨어 성능 최적화 (Software performance optimization)는 악명 높을 정도로 복잡하고 수동적인 작업입니다. 코드 개선을 위한 대규모 언어 모델 (LLMs)의 사용이 증가하고 있음에도 불구하고, 실제 코드베이스에서 최적화가 실제로 어떻게 일어나는지를 포착하는 벤치마크는 여전히 부족한 실정입니다. 기존 프레임워크들은 고립된 함수나 단일 성능 지표에 집중함으로써 문제를 지나치게 단순화하는 경향이 있으며, 실행 시간과 메모리 사용량 (memory footprint) 사이의 중요한 트레이드오프 (trade-offs), 측정 환경의 내재된 노이즈, 그리고 서로 다른 입력 데이터 및 실행 조건에 의해 발생하는 가변성을 놓치고 있습니다. 우리는 오픈 소스 프로젝트에서 추출한 102개의 전문가 작성 최적화 사례를 바탕으로 도출된 저장소 수준 (repository-level) 벤치마크인 SWE-Pro를 도입하여 이 문제를 해결합니다. 이전의 벤치마크들과 달리, SWE-Pro는 각 작업에 매개변수화된 테스트 (parameterized tests)를 결합하여 노이즈를 인지하는 측정 조건 (noise-aware measurement conditions) 하에서 다양한 입력 데이터와 실행 조건에 따른 실행 시간 (runtime), 피크 메모리 (peak memory), 그리고 시간 가중 메모리 사용량 (Time-Weighted Memory Usage, TWMU)을 평가합니다. 우리의 평가 결과에 따르면 현재의 LLM들은 상당한 어려움을 겪고 있습니다: 실행 시간 이득은 미미하며, 메모리 최적화는 거의 존재하지 않습니다. 이는 벤치마크 작업에 대해 총 15.5배의 속도 향상과 171.3배의 피크 메모리 감소를 달성한 전문가의 구현과 극명한 대조를 이룹니다. 전문가가 작성한 개선 사항은 실행 시간의 경우 작업의 91.2%, 피크 메모리의 경우 65.7%에서 관찰되었습니다. 우리의 연구 결과는 현재의 LLM 능력과 전문가 수준의 엔지니어링 요구 사항 사이에 상당한 격차가 있음을 드러냅니다.