DEFault++: 트랜스포머 아키텍처를 위한 자동화된 결함 탐지, 분류 및 진단

트랜스포머 (Transformer) 모델은 중요한 AI 응용 분야에서 널리 배포되고 있으나, 주의력 메커니즘 (attention mechanisms), 투영 (projections), 그리고 기타 내부 구성 요소의 결함은 런타임 오류를 발생시키지 않으면서도 침묵하게 동작을 저하시킵니다. 기존 결함 진단 기법은 주로 일반적인 심층 신경망 (generic deep neural networks) 을 대상으로 하여, 관찰된 증상을 유발한 트랜스포머 구성 요소를 식별하지 못하는 경우가 많습니다. 본 논문에서는 3 단계의 추상화 수준에서 작동하는 계층적 학습 기반 진단 기술인 DEFault++ 를 제시합니다. 이는 결함의 유무를 탐지하고, 12 가지 트랜스포머 특화 결함 카테고리 중 하나로 분류하며 (주의력 내부 메커니즘과 주변 아키텍처 구성 요소를 모두 포함), 최대 45 개의 메커니즘 중 근본 원인을 식별합니다. 학습 및 평가를 용이하게 하기 위해, 체계적인 변이 테스트 (systematic mutation testing) 를 통해 얻은 3,739 개의 레이블링된 인스턴트로 구성된 벤치마크인 DEFault-bench 를 구성했습니다. 이러한 인스턴스는 본 목적을 위해 개발한 트랜스포머 특화 변이 기술인 DEForm 을 사용하여 7 가지 트랜스포머 모델과 9 가지 다운스트림 작업 (downstream tasks) 에서 생성되었습니다. DEFault++ 는 개별 트랜스포머 구성 요소 수준에서 런타임 동작을 측정합니다. 이를 위해 트랜스포머 아키텍처에서 유래한 결함 전파 그래프 (Fault Propagation Graph, FPG) 를 통해 이러한 측정치를 조직화합니다. 그리고 프로토타입 매칭 (prototype matching) 과 지도 학습 기반 대조 학습 (supervised contrastive learning) 을 결합하여 해석 가능한 진단을 생성합니다. DEFault-bench 에서 DEFault++ 는 탐지에 있어 AUROC 0.96 이상, 인코더 및 디코더 아키텍처에 대한 분류와 근본 원인 진단 모두에서 Macro-F1 0.85 이상의 성능을 달성했습니다. 21 명의 실무자를 대상으로 한 개발자 연구에서, DEFault++ 를 사용하지 않을 때의 올바른 수정 행동 선택 정확도인 57.1% 에서 DEFault++ 를 사용할 때 83.3% 로 향상되었습니다.