진화하는 자연어 처리 (NLP) 모델을 평가하는 것은 업데이트 전반에 걸쳐 신뢰할 수 있는 동작을 보장하는 데 중요하지만, 표준 벤치마크 지표는 모델의 동작이 버전 간에 어떻게 변하는지를 완전히 포착하지 못합니다. 기존 연구는 연속적 통합 (CI) 워크플로에서 연속적인 버전을 비교하기보다는 주로 모델을 개별적으로 테스트하는 데 집중해 왔습니다. 우리는 변형 테스트 (Metamorphic Testing)를 통해 NLP 모델 버전 간의 행동 회귀 (Behavioral Regression)를 탐지하는 도구인 Alteron을 제시합니다. Alteron은 레이블이 지정된 소스 예시로부터 테스트 코퍼스를 구축하고, 변형된 입력값에 대해 모델 버전들을 비교합니다. 10개의 변형 관계 (MRs), 4개의 모델 버전, 그리고 3개의 모델 업데이트 전환을 아우르는 평가에서, Alteron은 16개의 행동 회귀를 식별했으며, 그 중 11개는 릴리스 차단 (Release-blocking) 수준이었습니다. 결과에 따르면, 일반적인 모델 업데이트는 전반적인 작업 성능을 유지하면서도 원치 않는 동작 변화를 유발할 수 있으며, 모델 버전 간의 행동 점검은 집계된 벤치마크 지표만으로는 포착할 수 없는 실패를 드러낼 수 있음을 보여줍니다. 이 도구는 오픈 소스이며 https://github.com/shazzad5709/alteron 에서 사용할 수 있습니다. 스크린캐스트 시연은

에서 확인할 수 있습니다.