과학 계산 프로그램의 변형 관계 적절성을 위한 의미론적 변이 지표

배경 (Context). 변형 테스트 (Metamorphic Testing)는 과학 계산에서의 테스트 오라클 문제 (test-oracle problem)를 해결하지만, 전통적인 변이 점수 (Mutation Score)는 구문론적 AST 변이 (syntactic AST mutations)를 기반으로 작동하여 도메인 의미론 (domain semantics)을 놓칩니다. 목적 (Objective). 우리는 다섯 가지 도메인 의미론적 연산자 (보존 침식 (Conservation Erosion), 연산자 치환 (Operator Substitution), 하이퍼파라미터 (Hyperparameter), 궤적 반전 (Trajectory Flip), 구조적 주입 (Structural Injection))를 기반으로 구축된 의미론적 변이 점수 (Semantic Mutation Score, SMS)를 제안합니다. SMS는 특성화된 한계 내에서 거의 모든 곳에서 MS (Mutation Score)로 퇴화하므로, SMS 기반의 모든 결론은 고전적 영역에서의 기존 변이 테스트 문헌과 일관성을 유지합니다. 방법 (Method). 네 가지 단일 출력 부동 소수점 대 부동 소수점 (float-to-float) 클래스 (수치적 (numeric), 확률적 (probabilistic), 대리 (surrogate), 머신러닝 (machine-learning))에 대해 12-PUT x 5-MP 설계를 적용하였으며, 실제 의미론적 결함 (semantic faults)을 허용 오차 (tolerance), 분포 외 (OOD), 통계적 (statistical), 그리고 아티팩트 (artefact) 범주와 분리하는 3계층 귀속 분류기 (three-layer attribution classifier)를 결합했습니다. 동일한 프롬프트 하에서의 동일 소스 / 교차 소스 절제 연구 (ablation)를 통해 LLM 소스 다양성 (LLM-source-diversity)의 기여도를 격리했습니다. LLM이 생성한 변이체 (mutants)는 AST 정규화 수준에서 기본 설정의 cosmic-ray 구문 풀 (syntactic pool)과 비교되었습니다. 결과 (Results). 점 추정 기준 (point-estimate criterion) 하에서 Cliff's delta의 사전 등록된 큰 효과 임계값 (large-effect threshold)은 충족되지 않았으며, 관찰된 효과는 중간 효과 (medium-effect) 범위에 있습니다. 동일한 프롬프트 하에서의 교차 소스 풀링 (Cross-source pooling)은 delta를 눈에 띄게 변화시키지 않았으며, 이는 LLM의 정체성이 이 설계 내에서 주요 지렛대(lever)가 아님을 나타냅니다. LLM이 생성한 변이체와 기본 cosmic-ray 구문 변이체 간의 AST 수준 중첩은 작습니다. Hyperparameter, Structural Injection, 그리고 Trajectory Flip 클래스는 기본 1차 구문 설정(default first-order syntactic configurations) 하에서는 도달할 수 없습니다. 결론 (Conclusion). SMS는 과학 계산의 도메인 의미론적 변형 관계 집합 (domain-semantic metamorphic-relation sets)을 위한 하위 호환 가능한 적절성 지표 (adequacy metric)입니다. 1차적 도달 불가능성 (first-order unreachability)에 대한 증거는 효과 크기 (effect-size) 문제와는 독립적입니다.