코드 이해 프록시(Code Comprehension Proxies)의 신뢰성에 대하여

코드 이해(Code Comprehension)에 관한 기존 연구들은 소프트웨어 엔지니어에게 코드가 이해 가능한지를 근사하기 위해 다양한 이해 프록시(Comprehension Proxies)를 사용해 왔습니다. 예를 들어, 주로 학생들로부터 수집된 Likert 척도(Likert-scale) 평점이나 프로그램 스니펫(Program Snippets)에 대한 입출력 질문에 대한 답변 등이 사용되지만, 이러한 프록시들의 상대적인 신뢰성은 알려져 있지 않습니다. 본 논문은 두 차례의 인간 대상 연구를 통해 기존 문헌에서 흔히 사용되는 일련의 프록시들의 상대적 신뢰성을 조사합니다. 첫째, 우리는 Delphi 전문가 합의 프로토콜(Delphi expert-consensus protocol)을 적용하여 8개의 코드 스니펫에 대한 정답(Ground-truth) 이해도 순위를 설정하기 위해 5명의 전문 소프트웨어 엔지니어 패널과 함께 전문가 합의 연구를 수행했습니다. Delphi 프로토콜은 의학이나 국가 안보 예측과 같은 다른 분야에서 불확실한 상황 하의 전문가 합의를 위해 널리 사용되지만, 우리가 알기로는 소프트웨어 공학 분야에서의 적용은 이번이 처음입니다. 둘째, 우리는 44명의 학생 참가자를 대상으로 연구를 수행하여 동일한 8개의 코드 스니펫 세트에 대해 문헌에서 도출된 14가지 이해 프록시를 측정할 수 있는 과제를 완료하게 했습니다. 마지막으로, 결과에 대한 상관관계 분석(Correlation Analysis)을 수행한 결과, 1) 입출력 질문에서 도출된 프록시와 2) 정확도(Accuracy)보다는 응답 시간(Response Time)을 측정하는 프록시가 특히 신뢰할 수 있다는 결론을 내렸습니다. 또한 우리는 측정 전략과 관계없이 프로그램의 의미론(Semantics)보다는 구문(Syntax)에 관한 질문에서 도출된 프록시들이 특히 신뢰할 수 없다는 것을 발견했으며, 이는 기존 이해도 관련 문헌의 일부 신뢰성에 의문을 제기합니다.