코드 이해를 위한 시간 적응형 미세 조정 (Temporal Adaptive Fine-Tuning)

요약

본 논문은 코드가 시간이 지남에 따라 진화하는 과정에서 발생하는 LLM의 코드 이해 문제(저장소 특화 모델의 정렬 불일치)를 다룹니다. 새로운 지식 습득, 구식 정보 억제, 유효한 지식 유지 등을 목표로 하는 시간 적응형 미세 조정(TAFT)을 제안합니다. TAFT는 확장된 SWE-bench 데이터셋에서 기존 방법론 대비 우수한 성능을 입증했습니다.

핵심 포인트

• 시간적 저장소 적응(temporal repository adaptation) 문제를 정의함.
• 새로운 지식 습득, 구식화 정보 억제, 유효 지식 유지에 초점을 맞춘 TAFT를 제안함.
• TAFT는 업데이트/억제된 지식 정확도에서 평균 상대적 개선율 18%를 달성함.
• 지식 앵커(Knowledge Anchor)가 추가된 변형 모델(TAFT-KANT)이 추가적인 성능 향상을 보임.