코드 모델 내부의 프로그램 바인딩

요약

본 논문은 코드 언어 모델의 은닉 상태가 컴파일러 프런트 엔드 정보를 사용하여 설명 및 편집될 수 있는지 테스트합니다. 연구진은 AST, 스코프 등 정적 분석 기반 분해를 모델 상태에 적용하여 성능을 검증했으며, 대부분의 코드 모델에서 이 방법이 위치 기반 접근보다 우수하게 답변 능력을 보존함을 입증했습니다.

핵심 포인트

• 코드 모델의 은닉 상태 설명 및 편집 가능성을 컴파일러 정보로 테스트함.
• 정적 분석 기반 분해는 14개 모델 중 10개 모델에서 우수한 성능을 보임.
• StarCoder2-15B는 재바인딩 방식으로 높은 답변 생성률(90/100)을 기록함.
• 표준 정적 분석은 프로그램에 대한 은닉 상태를 설명하고 변경하는 방법을 제공함.