STMutants: 산업 자동화 분야의 구조화된 텍스트 프로그램(ST)을 위한 변이 테스트 데이터셋

변이 테스트 (Mutation testing)는 테스트 스위트 (test-suite)의 효과를 평가하기 위해 널리 사용되지만, IEC 61131-3 구조화된 텍스트 (Structured Text, ST) 프로그램의 경우 재현 가능한 변이 기반 연구를 지원하는 공개 벤치마크가 여전히 부족한 실정입니다. 이러한 격차는 특히 중요합니다. 왜냐하면 ST는 실시간 작동이 필요한 안전 필수 (safety-critical) 산업 환경의 프로그래머블 로직 컨트롤러 (Programmable Logic Controllers, PLCs)에서 광범위하게 사용되며, 여기서 소프트웨어 결함은 장비 손상, 생산 손실 또는 불안전한 시스템 동작을 초래할 수 있기 때문입니다. 이러한 요구를 해결하기 위해, 우리는 산업 자동화 소프트웨어를 위한 큐레이션된 변이 테스트 데이터셋인 STMutants를 제시합니다. STMutants는 OSCAT 기본 라이브러리와 산업 관련 소스에서 수집된 11개의 ST 프로그램으로부터 파생된 110개의 생성된 1차 변이체 (first-order mutants)를 포함하며, 관찰 가능성 (observability) 및 동등성 (equivalence) 스크리닝을 거친 후 108개가 유지되었습니다. 이 데이터셋은 PLC 도메인을 위해 고전적 분류 체계에서 조정된 값 (value), 관계 (relational), 산술 (arithmetic), 논리 (logical), 부정 (negation), 연산 삽입/누락 (operation insertion/omission), 초기화 결함 (initialization faults)을 포함한 7가지 변이 연산자 (mutation operator) 카테고리를 다룹니다. 각 변이체는 결함 유형 프로파일링 및 연산자 선택, 구문 변환 (syntactic transformation), 컴파일 가능성 검증 (compilability verification), 그리고 높은 평가자 간 일치도 (kappa = 0.87)를 보이는 수동 동등성 스크리닝의 4단계 방법론을 통해 구축되었습니다. 데이터셋의 유용성을 입증하기 위해, 우리는 테스트 스위트 생성에 이어 변이 탐지/생존 (mutation kill/survive) 예측이라는 2단계 설정에서 세 가지 대규모 언어 모델 (Large Language Models, LLMs)을 평가했습니다. 유지된 108개의 변이체에 대해, 모델들은 각각 86.1%, 94.4%, 86.1%의 변이 탐지 정확도를 달성했으며, 통계적 분석을 통해 유의미한 성능 차이를 확인했습니다. ST 프로그램에 대한 최초의 공개 가능한 변이 벤치마크를 제공함으로써, STMutants는 PLC 소프트웨어에 대한 자동 테스트 생성, 변이 분석, 결함 위치 파악 (fault localization), 그리고 AI 지원 품질 보증 (AI-assisted quality assurance)에 관한 재현 가능한 연구를 가능하게 합니다.