심층 신경망(DNN)을 위한 테스트 케이스 선택: LLM for Code에 대한 재현 연구

최근, 레이블링 비용이 주요 관심사이고 모델의 실패를 조기에 발견하는 것이 핵심 목표인 제한된 테스트 예산 하에서, 심층 신경망(DNN)의 운영 평가를 지원하기 위한 테스트 케이스 선택(Test Case Selection, TCS) 기술들이 탐구되어 왔습니다. 이전 연구들은 유망한 결과들을 보고하고 있지만, 기존의 경험적 평가들은 거의 전적으로 비전 기반(vision-based) DNN 및 데이터셋에 집중되어 있어, 이전의 발견들이 LLM code 모델로 일반화될 수 있는지 여부는 불분명합니다. 본 논문은 LLM code 모델의 맥락에서 TCS 기술에 대한 대규모 재현 연구를 제시합니다. 우리는 원래 DNN을 위해 제안되었던 기존의 TCS 전략들을 재검토하고, TCS를 위해 이전에 평가되지 않았던 통계적 샘플링(statistical sampling) 전략들로 이를 보완합니다. 우리는 세 가지 코드 관련 분류 작업인 클론 탐지(clone detection), 취약점 탐지(vulnerability detection), 그리고 기술 부채 예측(technical debt prediction)에 대해 이들의 효과를 평가합니다. 본 연구는 17개의 작업별 미세 조정(fine-tuned) 모델 인스턴스, 7개의 예측 피처(predictive features), 그리고 12개의 피처 인식(feature-aware) 전략과 피처 불가지론적(feature-agnostic) 베이스라인으로서의 단순 무작위 샘플링(Simple Random Sampling, SRS)을 포함한 13개의 선택 전략을 아우릅니다. 우리는 정확도 추정(accuracy estimation)과 조기 실패 발견(early failure discovery)이라는 두 가지 차원을 따라 성능을 평가합니다. 결과에 따르면, 비전 기반 DNN에 대해 보고된 발견들 중 일부만이 TCS가 LLM for code에 적용될 때 일반화된다는 것을 나타냅니다. 특히, 불확실성 기반(uncertainty-based) 피처는 조기 실패 발견에 효과적인 반면, 표현 기반(representation-based) 피처는 정확도 추정에 더 견고합니다. 동시에, 성능은 작업과 모델에 따라 상당히 달라지며, 이는 TCS의 효과가 문맥 의존적(context-dependent)임을 나타냅니다. 전반적으로, 본 연구는 비전 기반 딥러닝을 넘어 TCS 기술의 재현 가능성에 대한 경험적 증거를 제공하며, LLM for code의 운영 평가를 위한 TCS 활용에 대한 통찰을 제공합니다.