멀티 채널 신호 트랜스포머(Multi-Channel Signal Transformers)를 위한 입력 인코더의 실증적 감사

멀티 채널 스칼라 신호(multi-channel scalar signals)를 소비하는 트랜스포머는 타임 스텝(time step)당 $C$개의 동시 값을 하나의 $d_{\text{model}}$-차원 벡터로 임베딩(embed)해야 합니다. 본 연구에서는 채널 정체성(channel identity)이 유의미하도록 설계된 합성 벤치마크(synthetic benchmark)와 실제 데이터 검증을 위한 ETTh1을 대상으로 8가지 입력 인코더(input encoders)를 실증적으로 감사(audit)하였습니다. 감사 대상은 공유 스칼라 베이스라인(shared-scalar baseline), 채널별 선형 투영(per-channel linear projections), 직교 정규화 항(orthogonality regulariser), 비선형 MLP 스템(nonlinear MLP stem), 블록 분할 연결(block-partitioned concatenation), 채널 독립적(channel-independent) 및 채널-애즈-토큰(channel-as-token) 아키텍처, 그리고 투영된 위치 인코딩(projected positional encoding)을 포함합니다. 측정 지표는 다음 단계의 음의 로그 가능도(next-step negative log-likelihood, NLL))를 사용했습니다.

핵심 결과는 광범위한 "최상위 계층(top tier)" 내에서 실질적인 거의 동등함(practical near-equivalence)을 보여준다는 점입니다. 표준적인 채널별 선형 투영(nn.Linear(C, $d_{\text{model}}$))은 통계적으로는 실재하지만 실무적으로는 미미한 차이를 제외하고는 해당 계층의 모든 대안과 일치하는 성능을 보였습니다. 두 가지 인코더는 결정적인 패배를 맛보았습니다. 하나는 우리가 명시적으로 밝힌 정보 이론적(information-theoretic) 이유로 인해 정보가 붕괴되는 공유 스칼라 베이스라인이며, 다른 하나는 두 벤치마크 모두에서 성능이 저조하고 합성 벤치마크에서 보편적으로 과적합(overfit)되는 채널 독립적 PatchTST 방식의 베이스라인입니다.

대조 테스트를 통해 두 가지 작은 격차를 해결했습니다. 사인파 위치 인코딩(sinusoidal positional encoding)을 학습된 선형 레이어(learned linear layer)를 통해 투영하는 방식은 작은 $C$ 값에서 다른 방식들을 근소하게 앞섰으며, 직접적인 기하학적 조사(geometric probe)를 통해 그 메커니즘이 위치-채널 직교화(positional-channel orthogonalisation)임을 확인했습니다. 비선형 MLP 스템은 우리가 테스트한 가장 큰 $C$ 값에서 다른 방식들을 근소하게 앞섰으며, 더 많은 학습 데이터가 제공될수록 그 격차는 줄어들었습니다. 실무적인 권장 사항은 기본적으로 nn.Linear(C, $d_{\text{model}}$)를 사용하고, 당면한 과제가 그렇게 해야 할 실질적인 이유를 제공할 때만 더 정교한 방식을 찾는 것입니다. 본 논문의 모든 실험을 재현하기 위한 코드와 데이터는 https://github.com/OssiLehtinen/channel-encoder-audit 에서 확인할 수 있습니다.