신뢰할 수 있는 코드 지능을 위한 즉각적인 입력 적응 (On-the-Fly Input Adaptation)

코드 언어 모델 (Code language models, CLMs)은 생성 및 분류 작업 모두에서 소프트웨어 공학 (Software engineering)의 핵심적인 역할을 수행합니다. 그러나 이러한 모델들은 최신 데이터로 학습되었음에도 불구하고, 실제 애플리케이션 환경에서는 여전히 눈에 띄는 오예측 (Mispredictions)을 보입니다. 기존의 해결책들은 모델을 재학습시키거나, 아키텍처 (Architecture)를 수정하거나, 프롬프트 (Prompts)를 재설계함으로써 이 문제를 해결하려 합니다. 이러한 접근 방식은 데이터 레이블링 (Data labeling), 모델 업데이트, 재배포에 상당한 노력이 필요하여 높은 계산 비용 (Computational cost)을 발생시키며, 종종 작업 간의 일반화 (Generalization) 성능 저하와 모델 간의 튜닝 불안정성 (Tuning instability) 문제를 겪습니다.

본 연구는 모델의 파라미터 (Parameters)를 변경하거나 추가적인 지도 학습 (Supervision)을 요구하지 않고도 모델의 동작을 개선하는, 즉각적인 입력 적응 (On-the-fly input adaptation)에 기반한 대안적 전략을 제안합니다. 이 방법은 두 단계로 구성됩니다. 첫 번째는 오예측을 유발할 가능성이 높은 입력을 탐지하는 입력 검증 (Input validation) 단계이며, 두 번째는 모델이 학습한 동작과 더 잘 일치하도록 구문 및 의미 보존 연산 (Syntax- and semantics-preserving operations)을 사용하여 입력을 변환하는 입력 적응 (Input adaptation) 단계입니다. 이러한 이중 전략은 다양한 코드 이해 작업 전반에서 오예측을 줄여주며, 재학습 없이도 모델 성능을 향상시킵니다. 확장 가능하고 자원 효율적인 솔루션으로서, 이 프레임워크는 신뢰성이 매우 중요한 소프트웨어 공학 분야의 고위험 애플리케이션 (High-stakes applications)에서 상당한 가능성을 지니고 있습니다.