구조적 인과 모델 (SCM)을 통한 소프트웨어 실증 연구의 재고

인과 추론 (Causal Inference)은 전통적인 통계적 연관성 (statistical association)을 넘어 실증 소프트웨어 공학 (Empirical Software Engineering, ESE)을 발전시키기 위한 근본적인 접근 방식을 제공하며, 연구자들이 소프트웨어 실험에서 인과 관계를 엄격하게 식별하고 정량화할 수 있도록 합니다. 본 논문은 Judea Pearl의 인과 추론 패러다임을 ESE 맥락에서 실행 가능한 형태로 구현한 프레임워크인 CausalSE를 소개합니다. 이 논문은 교란 편향 (confounding bias)을 완화하는 데 있어 고전적 통계 방법론이 가진 한계를 해결하기 위해 구조적 인과 모델 (Structural Causal Models, SCMs)에 집중합니다. Galeras 데이터셋과 성향 점수 매칭 (propensity score matching)을 사용한 사례 연구를 통해, 우리는 CausalSE가 인기 있는 LLM (즉, GPT-3)의 코드 생성 결과에 미치는 프롬프트 엔지니어링 (prompt engineering) 전략의 효과를 어떻게 분리해내는지 입증합니다. 결과에 따르면, 연관 분석 (associational analyses)은 특정 개입 (예: 더 복잡한 프롬프트)이 개선을 가져올 수 있다고 제안할 수 있지만, 인과 분석 (causal analysis)에서는 유의미한 처치 효과 (treatment effect)를 찾지 못하는 경우가 많으며, 이는 교란 요인이 해결되지 않았을 때 발생할 수 있는 위양성 (false positives)의 위험을 강조합니다. 튜토리얼 기반의 방법론과 실제 사례 연구를 제공함으로써, 본 연구는 소프트웨어 연구자들이 방법론적 엄격함을 갖추어 소프트웨어 실험을 설계, 분석 및 해석할 수 있는 실질적인 도구를 갖추게 하며, 궁극적으로 연구와 실무 모두에서 더 정보에 기반하고 실행 가능한 결론을 도출할 수 있도록 합니다.