LibEvoBench: 코드 생성 모델의 시간적 지식 계층화 탐색

대규모 소프트웨어 프로젝트는 API가 릴리스를 거치며 계속 진화함에도 불구하고, 종종 라이브러리의 이전 버전에 의존합니다. 이는 LLM(Large Language Models)에게 도전 과제가 됩니다. LLM은 단순히 최신 버전이나 가장 흔한 버전뿐만 아니라, 여러 API 버전에 대한 지식을 유지해야 합니다. 그러나 현재의 LLM은 시간적으로 혼합된 코퍼스(Corpora)로 학습되며, 이러한 버전별 추론을 위한 명시적인 메커니즘이 부족하여, 다른 라이브러리 버전에 존재하는 방식으로 API를 호출하는 시대착오적 오류(Anachronistic errors)를 범하게 됩니다. 이러한 현상을 체계적으로 평가하기 위해, 우리는 널리 사용되는 Python 라이브러리의 여러 버전에 걸친 멀티태스크 벤치마크인 LibEvoBench와, 진화하는 API를 다룰 때 모델의 일관성을 측정하기 위한 새로운 지표인 소프트웨어 진화 이해 점수(Software Evolution Understanding Score, SEUS)를 도입합니다. 연구 결과에 따르면 최첨단 모델들은 대체로 버전에 무관한(Version-oblivious) 모습을 보입니다. 즉, 진화하는 API에 대해서는 성능이 저하되는 반면, 안정적인 API에 대해서는 버전 간 성능이 동일하게 유지됩니다. 또한, 단순히 대상 버전을 명시하는 것은 별다른 이득을 주지 못하는 반면, 관련 문서를 제공하는 것은 모델의 정확도를 크게 향상시킵니다. 이러한 발견은 현재 학습 패러다임의 체계적인 한계를 강조하며, 코드 생성에서 시간적으로 근거가 있는 지식(Temporally grounded knowledge)을 위한 새로운 접근 방식의 필요성을 시사합니다.