RAMPHO 버퍼의 인 실리코 (In Silico) 모델링: 심층 신경망 (DNN) 내 음성 엔트로피를 통한 정보적 마스킹과 에너지적 마스킹의

다중 화자 환경에서 청취의 근본적인 과제는 인지적 병목 현상(cognitive bottleneck)이며, 이는 언어 이해 용이성 (Ease of Language Understanding, ELU) 모델에 의해 RAMPHO 에피소드 버퍼 (episodic buffer) 내의 실패로 정의됩니다. 음성 향상 (speech enhancement)을 위한 현재의 심층 신경망 (Deep Neural Networks, DNN)은 순수하게 물리적 음향 (physical acoustics)만을 최적화하며, 정보적 마스킹 (informational masking)으로 인한 인지적 페널티를 고려하지 못합니다. 본 연구에서는 자기 지도 학습형 음향 모델 (self-supervised acoustic model, wav2vec 2.0)의 프레임 단위 음성 엔트로피 (phonetic entropy)를 사용하여 RAMPHO 버퍼의 인 실리코 (in silico) 시뮬레이션을 제시합니다. 신호 대 잡음비 (Signal-to-Noise Ratio, SNR) 변화에 따라 의미적으로 온전한 방해 요소와 위상 비상관 (phase-decorrelated) 방해 요소 (집중력 보호막, Concentration Shield)를 대조함으로써, 우리는 정보적 방해로 인한 인지적 페널티를 에너지적 감쇠 (energetic decay)로 인한 물리적 페널티로부터 성공적으로 분리해냈습니다. 이 시뮬레이션은 인지-음향적 파레토 최적화 (cognitive-acoustic Pareto optimization) 문제를 드러냅니다. 즉, 방해 요소의 의미적 페이로드 (semantic payload)를 파괴하는 것은 높은 SNR에서 정보적 마스킹으로부터의 해방을 제공하지만, 낮은 SNR에서는 근본적으로 시간적 틈새 단서 (temporal glimpsing cues)를 저하시킵니다.