LLM 코드 최적화의 패턴 기반 평가: 컴파일러를 초월하는 의미론적 추론 분리

요약

본 논문은 기존 LLM 코드 최적화 평가가 단순 속도 향상에만 의존하여 모델의 실제 최적화 능력을 정확히 측정하지 못한다고 지적합니다. 이에 따라 컴파일러를 초월하는(compiler-transcendent) 최적화를 목표로 하는 새로운 벤치마크 PatternBench를 제시했습니다. 이 벤치마크는 AST 기반 분석을 통해 의도된 최적화가 실제로 구현되었는지 검증하여 평가의 신뢰도를 높입니다.

핵심 포인트

• 기존 LLM 코드 최적화 평가는 단순 속도 측정만으로는 부족함.
• PatternBench는 컴파일러를 초월하는 잔여 최적화 기회를 목표로 함.
• 최적화 충실성(Fidelity) 분석이 성능 향상과 강하게 연관됨을 입증.
• 미세 조정(Fine-tuning)은 충실성과 최적화 효과 모두 개선함.