구조화된 시각적 지형: 생물학적 및 인공 신경망에서의 선호 표현 생성

요약

본 논문은 구조화된 시각적 표현 지형을 제안하고, 활성화 기반 사전 분포를 설계하여 신경망의 해석 가능성을 높이는 방법을 제시합니다. Vis-Lens 모델은 VAE와 확산 모델을 통합하여, 반복 최적화 없이도 자연스럽고 현실적인 선호 이미지 생성을 가능하게 합니다. fMRI 데이터 검증 결과, 인간 시각 피질과 인공 신경망 모두에서 기존 방법 대비 개선된 성능을 입증했습니다.

핵심 포인트

• 구조화된 시각적 표현 지형을 제안하여 해석 가능성 향상에 기여함.
• Vis-Lens는 VAE와 확산 모델을 통합한 이미지 생성 프레임워크임.
• 활성화 기반 사전 분포를 활용해 잠재 코드를 직접 수정하는 방식이 핵심임.
• fMRI 데이터를 통해 인간 시각 피질과 ANN 모두에서 효과가 입증됨.