인간 인지 기반 파운데이션 모델을 이용한 프로그램 이해 예측
요약
본 논문은 프로그램 이해 예측이라는 어려운 과제를 해결하기 위해, 인간의 인지적 규칙성을 학습한 파운데이션 모델 Centaur를 제안합니다. 이 모델을 사용하여 기존 연구 9개에 대해 평가한 결과, Centaur가 인간 응답 패턴과 높은 일치도를 보였습니다. 또한, Centaur는 이전 시도 의존도가 낮고 작업 관련 정보에서 더 큰 이점을 얻음을 입증했습니다.
핵심 포인트
- 인간 인지 기반 모델(Centaur)이 프로그램 이해 예측에 효과적임.
- 일반 심리학 데이터 학습 패턴이 소프트웨어 엔지니어링 과제에 전이 가능함을 시사함.
- Centaur는 이전 응답 의존도가 낮고 작업 컨텍스트 활용도가 높음.
- 개발자 행동 모델링의 새로운 기반을 제시함.
소프트웨어 엔지니어링은 개발자가 코드를 이해하는 능력에 의존하지만, 실제로 어떻게 이해하는지를 예측하는 것은 수십 년의 연구에도 불구하고 여전히 해결되지 않은 과제로 남아 있습니다. 기존 접근 방식들은 정확도를 제한하는 단순화된 대리 측정치(proxy measures)에 의존하거나, 확장하고 실제 적용하기 어려운 정교한 실험 설정이 필요한 비자명한 측정치에 의존합니다. 이와 대조적으로, 최근의 심리학 연구는 대안적인 관점을 제시합니다. 즉, 작업별 특정 현상을 직접 모델링하는 대신, 인간 행동은 대규모 행동 데이터로부터 학습된 인지적 규칙성(cognitive regularities)을 통해 포착될 수 있다는 것입니다. 이 아이디어는 복잡한 인간 행동을 과제와 도메인 전반에 걸쳐 일관되게 나타나는 근본적인 인지 과정의 관찰 가능한 결과로 간주합니다. 본 논문에서는 프로그램 이해의 맥락에서 이러한 관점을 탐구합니다. 우리는 160개의 일반 심리학 실험 데이터로 훈련된 파운데이션 모델인 Centaur를 사용하여, 이전에 발표된 9개의 프로그램 이해 연구에 대해 평가합니다. 우리는 Centaur가 예측한 응답 분포가 인간의 응답 데이터와 얼마나 잘 일치하는지 평가하고, Centaur의 성능을 기본 모델인 Llama 3.1과 비교합니다. 그 성능의 출처를 더 잘 이해하기 위해, 코드 아티팩트(code artifacts), 작업 관련 컨텍스트(task-related context), 이전 시도 및 참가자 응답 등 다양한 정보 출처의 기여도를 분리하는 제거 연구(ablation studies)를 수행합니다. 요약하자면, 우리는 Centaur가 기본 모델보다 인간의 응답 패턴과 더 가깝게 일치하며, 이전 시도와 응답으로부터의 의존도가 현저히 낮고, 작업 관련 정보로부터 더 많은 이점을 얻는다는 것을 발견했습니다. 이러한 결과들은 일반 심리학 데이터에서 학습된 행동 패턴이 프로그램 이해와 같은 복잡한 소프트웨어 엔지니어링 과제로 전이될 수 있음을 시사합니다. 더 광범위하게는, 이는 인간 인지 파운데이션 모델을 소프트웨어 엔지니어링에서 개발자 행동을 모델링하기 위한 기반으로 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기