HiPAD: 우울증 탐지를 위한 통합된 보행, 오디오-비주얼, 성격 융합 네트워크 및 계층적 성격 제거와 도메인 적응 LLM의 교정 한계

우리는 HiPAD를 제시합니다. 이 단일 융합 네트워크는 MPDD-AVG 2026 우울증 탐지 챌린지의 여섯 개 하위 트랙 전체에 제출되었으며, 노년층과 청년층 코호트 및 세 가지 모달리티 세트(보행, 오디오-비주얼, 그리고 둘 다)를 포괄하며, 각 모달리티는 성격 설명과 결합됩니다. 이 네트워크는 사용 가능한 각 모달리티를 공유 BiLSTM으로 인코딩하고, 부재하는 모달리티는 제로 패딩을 적용하며, 보행, 오디오, 비디오 중 최소 두 개가 존재할 때만 크로스-모달 어텐션을 적용합니다. 결과에서 우위를 점하는 성격 정보는 어텐션 과정에 포함되지 않고 연결(concatenation) 방식으로 융합됩니다. 아키텍처가 모든 하위 트랙에서 동일하기 때문에, 그 차이는 모델보다는 데이터 자체를 반영하며, 우리는 이를 활용하여 세 가지 질문을 연구합니다. 우리의 주요 발견은 피험자에 대한 약 150개의 토큰으로 구성된 성격 설명이 오디오, 비디오, 보행을 합친 것보다 더 많은 우울증 신호를 담고 있다는 것입니다. 보행과 성격만 결합한 경우(TLS 0.647)가 오디오와 비디오를 포함하는 모든 구성을 능가합니다. 첫째, 성격 설명에 대한 네 단계의 제거 연구(L0-L3)는 이를 정량화합니다: 이전 MPDD 제거 연구에서 유지했던 Big Five 점수를 포함하여 성격에서 파생된 모든 특징을 제거하면 트랙 수준 점수(Track-Level Score)가 0.499에서 0.507 하락하며 모델은 우연 수준에 머무릅니다. 둘째, PHQ-8/9 데이터를 사용하여 LoRA (7B) 또는 QLoRA (72B)로 성격 인코더를 도메인 적응시키면 이진 Cohen's $\kappa$ 값이 0.13 증가하지만, PHQ-9 회귀를 왜곡하여 전체 점수는 하락합니다. 고정된 RoBERTa-large 인코더가 이 샘플 크기에서는 더 나은 성능을 보입니다. 셋째, 고정된 아키텍처에서 수작업으로 만든 임상 특징(eGeMAPS, OpenFace action units)이 일반적인 심층 특징(wav2vec2, DenseNet)보다 오디오-비주얼 트랙에서 우수합니다. 통합 시스템은 크로스-트랙 G-점수 0.482에 도달하며, 코호트당 피험자가 100명 미만일 때 제한 요인은 아키텍처 선택이 아니라 표현의 크기 및 출력의 교정(calibration)입니다.