Code Talkers와 함께 흐름 속에서 길을 잃다: 코드 작업에서 대규모 언어 모델(LLMs)의 지시어 튜닝

요약

본 연구는 AI 코딩 어시스턴트의 지시어 튜닝(Instruction Tuning)이 개발자의 두 가지 인지 모드인 '흐름(Flow)'과 '명령(Command)' 모드에 미치는 영향을 분석합니다. 지시어 튜닝이 명령 수행 능력은 높이지만, 코드 완성(Infilling) 성능을 저하시키는 '지시어 튜닝 세금' 현상을 실증적으로 밝혀냈습니다.

핵심 포인트

• 지시어 튜닝은 명령 수행 능력과 코드 인필링 성능 간의 트레이드오프를 발생시킴
• 지시어 튜닝된 모델은 자연어 지시어 이해도는 높으나 코드 완성 능력은 약화됨
• 효과적인 코딩 어시스턴트 개발을 위해 지시어 준수와 코드 생성 지원 간의 균형이 필수적임
• 연구를 통해 '지시어 튜닝 세금(Instruction-Tuning Tax)' 개념을 정의함