루프 닫기: 상징적 음악 생성에서의 해석 가능한 활성화 스티어링을 위한 PID 피드백 제어

Transformer 기반 아키텍처는 복잡한 상징적 시퀀스 (symbolic sequences) 생성을 크게 발전시켰으나, 이산적 신호 속성 (discrete signal attributes)에 대한 미세하고 해석 가능한 제어를 달성하는 데에는 여전히 상당한 격차가 존재합니다. 본 논문은 Multitrack Music Transformer (MMT)의 기계론적 해석 가능성 (mechanistic interpretability)을 조사하고, 추론 시점의 활성화 스티어링 (activation steering)을 통해 이러한 격차를 해소하기 위해 재학습 없이 결정론적 속성 변조 (deterministic attribute modulation)를 수행하는 프레임워크를 제안합니다. 차이 평균 (Difference-in-Means, DiffMean) 방법론을 활용하여, 우리는 잔차 스트림 (residual stream) 내에서 신호 속성, 특히 음높이 (Pitch)와 지속 시간 (Duration)에 대한 잠재 방향 (latent directions)을 분리합니다. 우리는 이 영역에서 선형 표현 가설 (Linear Representation Hypothesis)을 검증하였으며, 스티어링 크기 (steering magnitude)와 속성 변화 (attribute shift) 사이의 높은 상관관계를 달성했습니다. 다중 속성 스티어링에서 발생하는 고유한 특징 얽힘 (feature entanglement) 문제를 해결하기 위해, 우리는 Gram-Schmidt 직교화 (Gram-Schmidt Orthogonalization)를 활용하는 이중 스티어링 (Dual Steering) 프레임워크를 도입합니다. 실험 결과, 이러한 기하학적 디커플링 (geometric decoupling)이 단순한 벡터 덧셈 (naive vector addition)에 비해 개념적 간섭 (conceptual interference)과 신호 저하 (signal degradation)를 줄여주며, 강력한 자기회귀 조건화 (autoregressive conditioning) 상황에서도 독립적인 결정론적 제어를 가능하게 함을 입증했습니다.