합성곱 신경망 (Convolutional neural networks, CNNs)은 시계열 분류 (time-series classification)에 널리 사용되지만, 이를 중요한 도메인에 배치하기 위해서는 예측을 유도하는 시간적 및 스펙트럼 패턴 (temporal and spectral patterns)을 이해해야 합니다. 개념 추출 (Concept extraction, CE) 방법은 모델의 잠재 공간 (latent space) 내 표현을 분석하여 이러한 패턴을 식별합니다. 그러나 기존의 시계열 CE 방법에는 세 가지 한계가 있습니다: 시간 도메인 (time domain)에서만 작동하여 주파수 특징 (frequency features)을 간과한다는 점, 개념의 수를 미리 정의해야 한다는 점, 그리고 모델이 사용하는 영역과 일치하지 않는 국소화 (localization)를 생성한다는 점입니다. 우리는 CNN을 위한 개념 추출 방법인 CENDRe를 제안함으로써 이러한 한계점을 해결합니다. 이 방법은 먼저 실루엣 가이드 집계 (silhouette-guided aggregation)를 통해 개념의 수를 자동으로 선택하며, 두 단계에 걸쳐 타임스텝별 잠재 표현 (per-timestep latent representations)을 클러스터링함으로써 개념을 발견합니다. 그 다음, 잠재 표현과 프로토타입 (prototypes)을 대조하는 존재 점수 (presence score)의 그래디언트 (gradients)를 통해 각 개념을 국소화하며, 개념을 유도하는 영역에 집중하는 마스크 (masks)를 생성합니다. 이러한 그래디언트를 푸리에 변환 (Fourier transform)과 같은 입력의 미분 가능한 가역 매핑 (differentiable invertible mapping)을 통해 전파하면, 주파수 도메인 (frequency domain)에서도 동일한 개념에 대한 국소화를 얻을 수 있습니다. 마지막으로, 각 개념은 각 클래스에 대한 기여도를 정량화하는 관련성 점수 (relevance score)를 부여받습니다. 합성 벤치마크 (synthetic benchmarks)에서 CENDRe는 최신 CE 방법들과 대등한 표현 정확도 (representation correctness)를 달성하였으며, 훨씬 더 높은 중요도 정확도 (importance correctness)를 보여주었습니다. 실제 베어링 결함 데이터 (real bearing-fault data)에서 CENDRe는 결함 진단을 위해 흔히 검사되는 영역에 위치한, 모델의 예측을 유도하는 주파수 대역 (frequency bands)을 추출함으로써 시간 도메인 CE 방법으로는 평가할 수 없는 모델 평가 근거를 생성합니다.