소프트웨어 분석(software analytics)에서 동일한 분석을 두 번 실행하면 종종 다른 모델과 결론이 도출됩니다. 이는 모델에 대한 신뢰도를 떨어뜨리고 사용을 제한합니다. 우리는 모델 불안정성이 주요 문제임을 발견했습니다. 127개의 다중 목표 SE 최적화 문제(12,700개 테스트 케이스) 전반에 걸쳐, 최첨단 옵티마이저(state-of-the-art optimizer)를 반복 실행해도 개선된 설정 하에서도 단지 13.7%의 테스트 케이스에서만 일치합니다. 우리는 이러한 불안정성이 단순히 허용해야 할 노이즈가 아니라 측정하고 관리할 수 있는 속성이라고 주장합니다. 레이블 사용 방식, 모델 복잡도, 분할 점수화 방식을 조정함으로써, 우리는 기본 설정보다 4.8배 더 자주 일치하는 모델을 얻습니다. 최적화 오차의 표준 편차는 평균적으로 22% 감소(평균 표준편차 17.4에서 13.6으로)하며, 추천 품질은 저하되기보다는 향상됩니다. 품질 측면에서, 개선된 설정은 기본 설정 대비 127개 데이터셋 중 119개에서 통계적으로 최고 등급을 차지했습니다(기본 설정은 74개). 이후 우리는 인과적 개입(causal interventions) 및 데이터 국소성 개입(data-locality interventions)을 테스트했고, 이들이 부분적인 도움만 준다는 것을 발견하여 잔여 안정성 하한선(residual stability floor)이 있음을 시사합니다. 우리의 증거는 불안정성이 데이터 자체에 의해 설정되는 근본적인 한계가 있음(노이즈, 희소 레이블, 프록시 목표, 그리고 하나의 데이터셋이 허용하는 많은 유사 모델들)을 보여줍니다. 우리는 불안정성을 SE 최적화의 표준 평가 축으로 다루어야 하며, 이는 성능과 함께 정기적으로 측정 및 보고되어야 하고, 단일 실행에 대한 신뢰도를 보정하는 데 사용되어야 한다고 결론지었습니다. 본 논문의 방법론은 SBSE 불안정성 감소를 위한 향후 노력을 판단할 수 있는 기준선(baseline)을 제공합니다. 오픈 사이언스를 지원하기 위해 다음 재현 패키지를 제공합니다: https://tinyurl.com/Model-Instability