[Paper Review] Keeping Neural Networks Simple by Minimizing the Description Length of the Weights

#paper-review #deep-learning #variational-inference #mdl #bayesian-neural-network

논문 링크: Keeping Neural Networks Simple by Minimizing the Description Length of the Weights

논문 정보

항목	내용
출판 시점	1993년
저자	Geoffrey E. Hinton, Drew van Camp
주제	Description length, variational inference, neural networks

핵심 아이디어

이 논문은 neural network weight를 고정된 값이 아니라 probability distribution으로 표현하고, weight를 설명하는 데 필요한 description length를 줄이도록 학습한다. 이는 Bayesian neural network와 variational inference의 초기 아이디어 중 하나로 볼 수 있다.

좋은 neural network는 training data를 잘 맞출 뿐 아니라, weight를 짧게 설명할 수 있어야 한다는 MDL 관점을 사용한다.

왜 중요한가

현대적인 variational inference, Bayesian deep learning, compression-based regularization의 뿌리를 이해하는 데 도움이 된다. Overfitting을 단순히 validation error 문제가 아니라 model description length 문제로 바라본다.

수식으로 보는 핵심

MDL 관점에서는 model과 data를 함께 설명하는 길이를 줄인다.

\mathcal{L}_{\mathrm{MDL}} = L(\text{data}\mid\text{weights}) + L(\text{weights})

Hinton과 van Camp는 weight를 point estimate가 아니라 distribution으로 둔다. 예를 들어 각 weight를 Gaussian으로 근사할 수 있다.

w_i \sim \mathcal{N}(\mu_i, \sigma_i^2)

Weight posterior $q(w)$ 가 prior $p(w)$ 에서 얼마나 멀어졌는지는 KL divergence로 볼 수 있다.

D_{\mathrm{KL}}(q(w)\Vert p(w))

따라서 objective는 현대식으로 쓰면 다음 형태에 가깝다.

\mathcal{L} = \mathbb{E}_{q(w)}[-\log p(D\mid w)] + D_{\mathrm{KL}}(q(w)\Vert p(w))

이 논문의 핵심 수식은 training error와 weight를 설명하는 bit 수 사이의 trade-off를 최적화한다는 점이다.

$\sigma_i$ 가 크면 weight를 정밀하게 저장하지 않아도 되므로 정보량이 줄어든다. 반대로 중요한 weight는 작은 variance를 가져야 하므로 더 많은 정보를 쓴다.

MDL 관점

Minimum Description Length(MDL)는 좋은 모델을 "데이터와 모델을 함께 가장 짧게 설명하는 모델"로 본다. Training error만 낮추는 복잡한 모델은 데이터를 잘 외울 수 있지만, 그 모델 자체를 설명하는 비용이 커진다. 이 논문은 neural network weight에도 같은 관점을 적용한다.

Weight를 Distribution으로 보기

일반적인 neural network는 weight 하나하나를 point estimate로 학습한다. 이 논문은 weight를 평균과 분산을 가진 확률분포로 표현한다. 분산이 크다는 것은 weight 값을 정밀하게 지정하지 않아도 된다는 뜻이고, 이는 description length가 짧다는 의미로 해석할 수 있다.

중요한 weight는 더 정밀하게 저장하고, 덜 중요한 weight는 더 거칠게 저장해도 된다는 생각이 regularization으로 작동한다.

Loss의 구성

목표는 data를 설명하는 비용과 weight를 설명하는 비용의 합을 줄이는 것이다. Data term은 prediction error에 해당하고, weight term은 posterior가 prior에서 얼마나 멀어졌는지를 나타낸다. 현대식으로 보면 variational inference의 ELBO와 연결된다.

Bayesian Deep Learning과의 연결

이 논문은 Bayesian neural network를 실용적으로 학습하려는 초기 시도 중 하나다. Weight uncertainty를 다루면 model compression, regularization, uncertainty estimation으로 이어질 수 있다. 또 bits-back coding 관점은 VAE와 variational compression 논문을 이해하는 데도 중요한 배경이 된다.

한계

1993년 논문인 만큼 현대 deep network scale에 바로 적용하기는 어렵다. Gaussian posterior 가정도 실제 posterior를 충분히 표현하지 못할 수 있다. 하지만 "generalization은 weight를 얼마나 간단히 설명할 수 있는가와 관련된다"는 관점은 여전히 중요하다.

읽을 포인트

weight posterior를 Gaussian으로 근사하는 방식
data misfit과 weight description length의 trade-off
bits-back coding 직관
Bayesian neural network와 regularization의 연결

정리

이 논문은 neural network regularization을 정보 이론과 Bayesian 관점에서 해석한다. 단순히 작은 weight를 선호하는 것이 아니라, weight를 설명하는 데 필요한 bit 수를 줄인다는 관점이 핵심이다.