현대 차량의 연결성이 증가함에 따라 차량 내 통신 네트워크를 보호하는 것이 중요한 과제가 되었습니다. 침입 탐지 시스템 (IDS)은 컨트롤러 영역 네트워크 (CAN) 버스 상의 악성 활동을 탐지하기 위한 방어 메커니즘으로서 널리 연구되어 왔습니다. 그러나 실험 설정의 불일치와 표준화된 벤치마킹 프레임워크의 부재로 인해 CAN IDS 방법론의 평가는 여전히 어려운 상태입니다. 그 결과, 보고된 성능은 종종 데이터셋 특유의 성격에 의존하며, 탐지 방법이 서로 다른 환경에서 어떻게 작동하는지를 반영하지 못할 수 있습니다. 본 연구는 여러 데이터셋에 걸쳐 CAN IDS를 일관되게 평가하기 위한 벤치마킹 프레임워크를 소개합니다. 제안된 프레임워크를 사용하여, 우리는 서로 다른 실험 조건 하에서 수집된 7개의 공개 CAN IDS 데이터셋을 통합하고, 개념적으로 서로 다른 5가지 IDS 접근 방식에 대해 교차 데이터셋 평가를 수행합니다. 우리의 결과는 탐지 성능이 데이터셋에 따라 어떻게 크게 달라질 수 있는지를 강조하며, CAN IDS 방법론의 강건성 (Robustness) 및 일반화 능력 (Generalization capabilities)을 평가하기 위한 교차 데이터셋 벤치마킹의 중요성을 입증합니다.