SQ-VAE
본 저장소는 ICML2022에서 발표된 **"SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization"**의 공식 PyTorch 구현을 포함합니다 (arXiv 2205.07547).
본 코드를 실험에 사용할 경우, 반드시 [1]를 인용해 주십시오.
초록: 벡터 양자화 변분 오토인코더(VQ-VAE)의 한 가지 주목할 만한 문제는 학습된 이산 표현이 코드북의 전체 용량 중 일부만을 사용한다는 것입니다. 이는 코드북 붕괴(codebook collapse)라고도 알려져 있습니다. 우리는 VQ-VAE의 훈련 방식, 즉 몇 가지 신중하게 설계된 휴리스틱을 포함하는 과정 자체가 이러한 문제의 근본 원인이라고 가정합니다. 본 논문에서는 표준 VAE를 새로운 확률적 역양자화 및 양자화를 통해 확장한 stochastically quantized variational autoencoder (SQ-VAE), 즉 확률적으로 양자화된 변분 오토인코더를 제안합니다. SQ-VAE에서 우리는 양자화가 훈련 초기 단계에서는 확률적이지만, 점차 결정론적 양자화로 수렴하는 경향을 관찰하며, 이를 자체 온도 조절(self-annealing)이라고 부릅니다. 우리의 실험은 일반적인 휴리스틱을 사용하지 않고도 SQ-VAE가 코드북 활용도를 향상시킨다는 것을 보여줍니다. 나아가, 우리는 SQ-VAE가 비전 및 음성 관련 작업에서 VAE와 VQ-VAE보다 우수함을 경험적으로 입증합니다.
인용 (Citation)
[1] Takida, Y., Shibuya, T., Liao, W., Lai, C., Ohmura, J., Uesaka, T., Murata, N., Takahashi S., Kumakura, T. and Mitsufuji, Y.,
"SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization,"
39th International Conference on Machine Learning.
@INPROCEEDINGS{takida2022sq-vae,
author={Takida, Yuhta and Shibuya, Takashi and Liao, WeiHsiang and Lai, Chieh-Hsin and Ohmura, Junki and Uesaka, Toshimitsu and Murata, Naoki and Takahashi, Shusuke and Kumakura, Toshiyuki and Mitsufuji, Yuki},
title={{SQ-VAE}: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization},
...
