효율성 깎아내기: 효율적인 코드 생성을 위한 구조화된 스켈레톤 감독 (Structured Skeleton Supervision)

대규모 언어 모델 (LLMs)은 구문론적으로 정확하고 기능적으로 완전한 프로그램을 생성할 수 있어 소프트웨어 개발을 크게 간소화합니다. 그러나 최근 연구에 따르면 이러한 프로그램들은 일반적으로 인간이 최적화한 프로그램보다 실행 속도가 상당히 느린 것으로 나타났습니다. 이러한 효율성 격차를 줄이기 위한 기존의 접근 방식은 일반적으로 코드를 생성한 후 반복적으로 최적화하거나, 효율적인 코드 말뭉치(corpora)를 사용하여 모델을 미세 조정(fine-tuning)하는 방식을 포함합니다. 하지만 이러한 방법들은 높은 실행 성능 (runtime performance)을 달리는 데 필수적인 구조적 코드 패턴을 명시적으로 인코딩하지 않은 채, 완성된 최적화 솔루션을 모방함으로써만 모델에 효율성 신호를 노출합니다. 이 격차를 해결하는 데는 두 가지 핵심 과제가 있습니다: (1) 복잡한 구문 및 제어 흐름 (control flows) 내에 내재된 잠재적인 효율성 지향적 구조 패턴을 추출하고 표현하는 것, 그리고 (2) LLMs의 의미론적 학습 (semantic training)을 불안정하게 만들지 않으면서 이러한 패턴을 효과적으로 학습하는 것입니다. 이러한 과제를 해결하기 위해, 우리는 세 가지 상호 보완적인 전략을 활용하여 효율성 스켈레톤—효율적인 코드의 근간이 되는 추상적이고 재사용 가능한 구조적 패턴—을 명시적으로 추출하고 학습하는 효율성 스켈레톤 가이드 프레임워크인 EffiSkel을 제안합니다. 이 스켈레톤들은 코드 생성과 스켈레톤 예측을 공동으로 최적화하는 멀티태스크 학습 (multi-task learning) 체계에 통합됩니다. 여러 프로그래밍 언어와 벤치마크에 걸친 실험을 통해 EffiSkel이 기능적 정확성 (functional correctness)과 효율성을 모두 크게 향상시킨다는 것을 입증했습니다. Mercury에서 DeepSeek-Coder (7B)를 사용했을 때, EffiCoder 대비 +11.11%, CodeDPO 대비 +3.71% 더 높은 효율성 비율 (Efficiency Ratio, ER)을 기록했으며, 평균 가속도 (Average Speedup, AS)는 EffiCoder 대비 +0.36, CodeDPO 대비 +0.22 증가했습니다. 이러한 결과는 LLMs가 생성한 코드의 실행 성능을 개선하는 데 있어 효율성 스켈레톤을 명시적으로 모델링하는 것이 효과적임을 강조합니다.