버그 리포트 기반 고장 위치 추정: ABB 로보틱스의 산업적 벤치마킹 및 교훈

소프트웨어 품질 보증은 대규모이고 장기적인 시스템이 필연적으로 결함을 축적하는 산업 환경에서 여전히 주요한 도전 과제입니다. 고장의 위치를 식별하는 작업은 종종 시간이 많이 소요되고 비용이 많이 듭니다. 특히 개발자가 완전한 실행 추적 (execution traces) 이나 코드 수준의 컨텍스트에 의존하기보다 텍스트 기반 버그 리포트에만 의존해야 하는 유지보수 단계에서는 더욱 그러합니다. 본 연구에서는 인공지능이 버그 리포트의 자연어 내용만 사용하여 고장 위치 추정을 지원할 수 있는지 조사했습니다. 텍스트 정보에만 의존함으로써, 우리의 접근 방식은 소스 코드, 실행 추적, 또는 정적 분석 아티팩트에 대한 접근 없이도 기존 산업용 유지보수 워크플로우에 직접 배포할 수 있습니다. 우리는 고장 위치 추정을 감독 학습 (supervised learning) 텍스트 분류 문제로 설정하고, 세 가지 전통적인 기계 학습 모델 (로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트) 과 두 가지 파인튜닝된 트랜스포머 기반 언어 모델 (RoBERTa-Base 및 Distil-RoBERTa) 을 평가했습니다. 우리의 평가는 스웨덴의 ABB 로보틱스에서 제공한 독점 데이터를 사용했으며, 이는 5 년 분량의 해결된 산업용 버그 리포트를 포함하고 각 리포트는 검증된 코드 수정과 연결되어 있었습니다. 이 설정은 현실적인 산업 제약 조건 하에서 모델의 효과를 평가할 수 있게 했습니다. 우리의 결과는 전통적인 모델이 용어 빈도 역문서 (term frequency-inverse document) 특징을 사용하여 이 데이터셋에서 파인튜닝된 언어 모델을 일관되게 능가했으며, 데이터 증강 (data augmentation) 은 랜덤 포레스트 성능을 향상시켰음을 보여주었습니다. 이러한 발견은 도메인 특정 데이터를 가진 산업적 컨텍스트에서 트랜스포머 기반 모델이 항상 고전적인 접근 방식을 능가한다는 가정을 도전합니다. 우리는 역사적 버그 리포트를 체계적으로 사용하여 텍스트 기반, 인공지능 보조 고장 위치 추정에 사용할 수 있음을 입증하여, 업계의 일반적인 디버깅 관행에 확장 가능하고 저비용이며 경험적으로 뒷받침되는 보완책을 제공했습니다.