Code Talkers와 함께 흐름 속에서 길을 잃다: 코드 작업에서 대규모 언어 모델(LLMs)의 지시어 튜닝

AI 코딩 어시스턴트(AI coding assistants)는 사용자의 의도에 부합하는 코드를 자동으로 제안함으로써 개발자의 생산성을 크게 향상시켰으며, 이러한 도구 중 상당수는 현재 통합 개발 환경(IDEs)에 직접 통합되어 있습니다. 개발자는 두 가지 뚜렷한 인지 모드인 흐름(Flow) 모드와 명령(Command) 모드에서 코드와 상호작용합니다. 개발자가 흐름(Flow) 모드 동안에는 미완성된 프로그램에서 코드를 직접 완성하거나 채워 넣는(infill) 도구가 필요한 반면, 명령(Command) 모드에서는 자연어 지시어(natural-language instructions)로 표현된 의도를 이해하고 이를 실행 가능한 코드로 변환할 수 있는 도구가 필요합니다. 지시어 튜닝된 대규모 언어 모델(LLMs)은 개발자의 의도를 추론하고 충족하는 능력 덕분에 많은 애플리케이션 시나리오를 지배하고 있지만, 동일한 패러다임이 서로 다른 코드 관련 작업에도 똑같이 적합한지는 여전히 불분명합니다. 따라서 지시어 튜닝(instruction tuning)이 코딩 어시스턴트로서의 CodeLLMs의 실행 가능성에 어떻게 영향을 미치는지 이해할 필요가 있습니다. 이러한 공백을 메우기 위해, 우리는 프로그래밍 모드 전반에 걸쳐 지시어 튜닝으로 인해 발생하는 핵심적인 트레이드오프(trade-off)를 밝혀내는 첫 번째 실증적 연구를 수행하였으며, 이를 '지시어 튜닝 세금(Instruction-Tuning Tax)'이라고 명명했습니다. 연구 결과에 따르면 지시어 튜닝은 공짜 점심이 아닙니다. 지시어 튜닝된 모델은 지시어를 따르고 구조화된 가이드를 활용하는 능력이 더 뛰어나지만, 이러한 이점은 종종 더 약해진 인필링(infilling) 성능을 대가로 얻어집니다. 우리는 수동 실패 분류(manual failure categorization), 생성 충실도(generation fidelity)를 포착하는 행동 지표, 그리고 튜닝 과정 전반에 걸친 중간 체크포인트 평가를 포함한 질적 및 양적 분석을 통해 연구를 더욱 확장했습니다. 연구 결과를 7가지 발견 사항과 4가지 시사점으로 요약함으로써, 본 연구는 AI 기반 코딩 도구 개발에 대한 새로운 관점을 제공하며 지시어 준수 능력과 효과적인 코드 생성 지원 사이의 신중한 균형이 필요함을 강조합니다.