코드 LLM의 지식 정렬을 향하여: 진화하는 API를 위한 대조적 언러닝 (Contrastive Unlearning)

원문 발행 2026. 06. 30. 03:34원문 언어 영어AI 한국어 번역arXiv Codex (cs.SE) 원문 보기

요약

코드 LLM이 폐기된 API를 생성하는 문제를 해결하기 위해, 구식 지식을 억제하고 올바른 API 사용을 유도하는 '대조적 언러닝(CURE)' 기법을 제안합니다. 실험 결과, CURE는 코드 생성 성능을 유지하면서도 폐기된 API 사용을 줄이고 최신 API로의 대체 성능을 크게 향상시켰습니다.

핵심 포인트

지식 컷오프 및 API 진화로 인한 모델의 신뢰성 문제 해결
단순 억제를 넘어 올바른 API 대체재를 명시적으로 유도하는 CURE 방식 제안
기존 SOTA 베이스라인 대비 폐기된 API 사용 감소 및 대체 성능 우수
LLM의 소프트웨어 생태계 적응을 위한 억제와 대체 결합의 중요성 강조

대규모 언어 모델 (LLMs)은 최근 코드 생성 분야에서 강력한 성능을 달성했습니다. 그러나 지식 컷오프 (knowledge cut-off)와 소프트웨어 라이브러리의 급격한 진화로 인해, 모델은 종종 신뢰할 수 없고 호환되지 않는 코드를 유발하는 폐기된 API (deprecated API) 사용법을 생성합니다. 기존의 미세 조정 (fine-tuning) 방법들은 모델 지식의 아주 작은 부분만 수정이 필요할 때 선택성이 부족합니다. 머신 언러닝 (machine unlearning) 및 모델 편집 (model editing)과 같은 최근의 모델 수준 접근 방식은 파라미터 지식 (parametric knowledge)을 수정하는 유망한 방향을 제시합니다. 하지만 폐기된 API 완화를 위해 이러한 방식들을 사용하는 것은 여전히 미개척 분야로 남아 있습니다. 더욱이, 기존 방법들은 주로 오래된 API를 억제하는 데 집중할 뿐, 모델을 올바른 대체재로 명시적으로 유도하지 못하여 종종 불일치하거나 불완전한 생성을 초래합니다. 이러한 한계를 해결하기 위해, 우리는 언러닝의 초점을 단순히 오래된 지식을 억제하는 것에서 올바른 API 대체재를 명시적으로 촉진하는 것으로 전환하는 대조적 언러닝 (contrastive unlearning) 접근 방식인 CURE를 개발했습니다. 구체적으로, CURE는 폐기된 API의 사용을 공동으로 저지하는 동시에 유효한 대안을 장려함으로써, 진화하는 소프트웨어 라이브러리에 대해 더욱 신뢰할 수 있는 적응을 가능하게 합니다. 최근의 폐기된 API 벤치마크 데이터셋에 대한 실험 결과, CURE는 일반적인 코드 생성 성능을 유지하면서도 폐기된 API 사용을 줄일 뿐만 아니라 올바른 API 대체 성능을 향상시킨다는 것을 보여주었습니다. CURE는 다양한 품질 지표 측면에서 두 가지 SOTA (State-of-the-Art) 베이스라인을 실질적으로 능가합니다. 이러한 발견은 LLM을 진화하는 소프트웨어 생태계에 적응시킬 때 억제 (suppression)와 대체 (replacement)를 결합하는 것이 중요하다는 점을 강조합니다.

AI 자동 생성 콘텐츠

원문 바로가기

코드 LLM의 지식 정렬을 향하여: 진화하는 API를 위한 대조적 언러닝 (Contrastive Unlearning)

요약

핵심 포인트

댓글