Transformer가 실제로 침입 탐지에 도움이 되는가? CIC-IDS2017에 대한 시계열 시퀀스 평가

네트워크 침입 탐지 (Network Intrusion Detection)를 위한 최근의 딥러닝 (Deep Learning) 접근 방식들은 순환 신경망 (Recurrent Networks) 및 Transformer와 같은 시계열 아키텍처 (Temporal Architectures)를 점점 더 많이 통합하고 있으며, 종종 CIC-IDS2017 데이터셋에서 완벽에 가까운 성능을 보고하고 있습니다. 그러나 기존의 많은 연구들은 시계열 모듈 (Temporal Modules)에 진정한 시퀀스 입력 (Sequence Inputs)을 제공하지 않거나, 데이터 누출이 없는 (Leakage-free) 현실적인 조건에서 평가하지 않기 때문에, 보고된 성능 향상이 진정한 시퀀스 모델링 (Sequence-modeling) 능력에서 비롯된 것인지 불분명합니다. 본 연구에서는 네트워크 대화로부터 순서가 있는 플로우 시퀀스 (Flow Sequences)를 구축함으로써 CIC-IDS2017을 시계열 침입 탐지 과제로 재정의하고, 무작위 분할 (Random Split), 두 가지 데이터 누출 방지 분할 (Leakage-free Splits), 그리고 패딩 방식 절제 연구 (Padding-scheme Ablation) 하에서 9가지 고전 및 딥러닝 아키텍처를 벤치마킹하였습니다. 핵심적인 발견은 아키텍처가 아니라 패딩 관례 (Padding Convention)가 Transformer의 성능을 결정한다는 것입니다. 진정한 시퀀스 형태의 (패딩되지 않은) 윈도우 (Windows)에서는 Transformer가 실험 내 어떤 모델보다 높은 Macro-F1 (0.89)을 달성했습니다. 반면, zero-pad+mask 평가 하에서는 성능이 현저히 하락(-0.24 Macro-F1)한 반면, LSTM, GRU, 1D-CNN은 안정적인 상태를 유지했습니다. 데이터 누출이 없는 그룹 평가 (Leakage-free Group Evaluation) 하에서는 Random Forest가 가장 견고한 모델(+0.009)이었던 반면, Transformer의 오탐률 (False-alarm Rate)은 0.04%에서 2.7%로 증가하였으며, 이는 기존 프로토콜에서는 보이지 않았던 67배의 증가입니다. 이러한 결과는 평가 방법론, 특히 패딩 관례와 분할 프로토콜 (Split Protocol)이 아키텍처 선택보다 보고된 성능에 더 큰 영향을 미친다는 것을 보여주며, 마지막 값을 반복하는 패딩 (Repeat-last Padding)을 사용하는 널리 쓰이는 무작위 분할은 모델의 견고함을 최대 0.24 Macro-F1까지 과대평가할 수 있음을 입증합니다. 우리는 향후 IDS 연구의 표준 관행으로서 데이터 누출 방지 분할 (Leakage-free Splits), 명시적인 패딩 공개, 그리고 시퀀스 인지 벤치마킹 (Sequence-aware Benchmarking)을 권장합니다. 코드 및 구현 세부 사항은 https://github.com/zachmocz/temporal-ids-bench 에서 확인할 수 있습니다.