오토인코더에서 베타-VAE까지
요약
오토인코더는 병목 계층을 사용하여 고차원 데이터를 재구성하고 차원을 축소하는 신경망 모델입니다. 이 과정에서 얻어지는 저차원의 잠재 인코딩(latent encoding)은 데이터 압축이나 검색과 같은 다양한 응용 분야에서 임베딩 벡터로 활용될 수 있습니다.
핵심 포인트
- 오토인코더는 병목 계층을 통해 고차원 데이터를 재구성하고 차원을 축소하는 데 사용됩니다.
- 병목 계층은 데이터의 압축된 잠재 인코딩(latent encoding)을 포착합니다.
- 이 저차원 표현은 임베딩 벡터로 활용되어 검색, 데이터 압축 등 다양한 응용 분야에 사용될 수 있습니다.
[2019-07-18 업데이트: VQ-VAE 및 VQ-VAE-2 섹션 추가.] [2019-07-26 업데이트: TD-VAE 섹션 추가.] 오토인코더(Autoencoder)는 중간에 좁은 병목 계층(bottleneck layer)을 가진 신경망 모델을 사용하여 고차원 데이터를 재구성하기 위해 발명되었습니다(아, 이는 변분 오토인코더(Variational Autoencoder)에는 아마도 사실이 아닐 것이며, 우리는 후속 섹션에서 자세히 조사할 것입니다). 이로 인한 좋은 부수 효과는 차원 축소입니다: 병목 계층은 압축된 잠재 인코딩(latent encoding)을 포착합니다. 이러한 저차원 표현은 다양한 응용 프로그램(예: 검색)에서 임베딩 벡터(embedding vector)로 사용될 수 있으며, 데이터 압축을 돕거나 데이터의 근본적인 생성 요인(generative factors)을 드러낼 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Lilian Weng Blog의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기7