[Paper Review] Variational Lossy Autoencoder

#paper-review #deep-learning #variational-autoencoder #compression #generative-model

논문 링크: Variational Lossy Autoencoder

논문 정보

항목	내용
출판 시점	2016년
저자	Xi Chen et al.
주제	VAE, lossy compression, autoregressive decoder

핵심 아이디어

Variational Lossy Autoencoder는 autoencoder가 어떤 정보를 latent code에 남기고 어떤 정보를 버릴지 조절하는 방법을 다룬다. 강력한 autoregressive decoder를 쓰면 decoder가 latent code를 무시하고 local pattern만으로 reconstruction을 할 수 있다.

Variational Lossy Autoencoder는 decoder의 능력을 제한해 latent variable이 global structure를 담당하도록 만든다.

왜 중요한가

VAE 계열 모델에서 posterior collapse나 latent code 무시 현상을 이해하는 데 도움이 된다. 또한 generative modeling을 compression 관점에서 해석한다.

수식으로 보는 핵심

VAE의 기본 objective는 ELBO다.

\log p(x) \ge \mathbb{E}_{q(z\mid x)}[\log p(x\mid z)] - D_{\mathrm{KL}}(q(z\mid x)\Vert p(z))

첫 항은 reconstruction, 두 번째 항은 latent code의 rate 또는 information cost로 볼 수 있다.

\mathcal{L}_{\mathrm{VAE}} = \mathbb{E}_{q(z\mid x)}[\log p(x\mid z)] - \mathrm{KL}

강한 autoregressive decoder는 다음처럼 local context만으로 $x$ 를 잘 모델링한다.

p(x\mid z) = \prod_i p(x_i \mid x_{<i}, z)

문제는 $x_{<i}$ 가 너무 강하면 decoder가 $z$ 를 무시할 수 있다는 점이다. 이를 information preference라고 볼 수 있다.

VLAE의 핵심 수식은 latent variable $z$ 가 담당할 정보와 autoregressive decoder가 담당할 정보를 architecture로 분리하는 데 있다.

Lossy representation 관점에서는 모든 정보를 $z$ 에 담지 않는다. 중요한 것은 global structure를 $z$ 에 남기고, local detail은 decoder가 처리하게 만드는 rate-distortion trade-off다.

\min \; D + \beta R

여기서 $D$ 는 distortion, $R$ 은 latent code rate로 해석할 수 있다.

VAE에서 Latent가 무시되는 문제

VAE는 latent variable $z$ 가 data의 중요한 요인을 담고, decoder가 $z$ 를 바탕으로 sample을 생성한다고 가정한다. 하지만 decoder가 PixelCNN처럼 너무 강력하면, decoder는 $z$ 없이도 local pixel dependency만으로 reconstruction을 잘할 수 있다. 이때 latent code는 거의 사용되지 않는 posterior collapse가 생긴다.

Lossy Autoencoder 관점

Variational Lossy Autoencoder는 모든 정보를 latent에 보존하려 하지 않는다. 대신 어떤 정보는 의도적으로 버리고, latent에는 global structure처럼 중요한 정보만 남기도록 유도한다. Decoder는 local detail을 복원하되, 전체 구조는 latent에 의존하게 만드는 것이 목표다.

VLAE는 latent variable이 의미 있는 정보를 담게 하려면 decoder의 정보 접근 경로를 설계해야 한다고 본다.

Autoregressive Decoder의 역할

Autoregressive decoder는 이전 pixel이나 token을 보고 다음 값을 예측한다. 이는 sharp한 sample을 만드는 데 유리하지만, latent variable을 우회하는 경로가 될 수 있다. 논문은 decoder가 볼 수 있는 context를 제한해 local texture와 global representation의 역할을 분리하려 한다.

Compression 해석

VAE는 bits-back coding으로 해석할 수 있다. Latent code에 정보를 얼마나 담을지는 rate-distortion trade-off와 관련된다. Lossy compression에서는 모든 detail을 보존하지 않고, 중요한 구조만 남긴다. 이 관점은 representation learning에서 latent가 무엇을 배워야 하는지 설명하는 데 도움이 된다.

한계

Decoder를 약하게 만들면 latent는 더 많이 쓰이지만 sample quality가 떨어질 수 있다. 반대로 decoder를 강하게 만들면 sample은 좋아져도 latent가 무시될 수 있다. 이 trade-off는 VAE 계열 모델의 핵심 난점이며, 이후 hierarchical VAE, beta-VAE, VQ-VAE 등 다양한 방향으로 연구되었다.

읽을 포인트

bits-back coding으로 VAE를 해석하는 방식
강한 decoder가 latent code를 무시하는 이유
local texture와 global structure의 분리
compression과 representation learning의 연결

정리

이 논문은 좋은 generative model이 단순히 reconstruction을 잘하는 것만으로는 부족하다고 말한다. Latent variable이 global structure를 담당하도록 decoder의 능력과 정보 경로를 조절해야 의미 있는 representation을 얻을 수 있다.