[Paper Review] Identity Mappings in Deep Residual Networks

논문 링크: Identity Mappings in Deep Residual Networks

논문 정보

항목	내용
출판 시점	2016년
저자	Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
주제	ResNet, pre-activation, identity shortcut

핵심 아이디어

이 논문은 ResNet의 skip connection을 더 순수한 identity path로 만들 때 학습이 더 안정적이라는 점을 분석한다. 초기 ResNet은 residual addition 뒤에 activation을 두었지만, 이 논문은 BatchNorm과 ReLU를 convolution 앞에 배치하는 pre-activation 구조를 제안한다.

Residual branch는 복잡해도 shortcut path는 가능한 한 아무것도 하지 않는 identity mapping으로 남겨야 gradient와 information이 잘 흐른다.

Pre-activation block은 대략 다음 순서를 가진다.

BN -> ReLU -> Conv -> BN -> ReLU -> Conv -> Add shortcut

왜 중요한가

이 구조는 더 깊은 ResNet을 학습할 때 효과적이었다. 단순한 skip connection의 존재뿐 아니라, shortcut path를 어디에서 끊고 어떤 activation을 어디에 둘지가 중요하다는 점을 보여준다.

수식으로 보는 핵심

원래 residual unit은 다음처럼 쓸 수 있다.

x_{l+1} = f(y_l), \qquad y_l = h(x_l) + F(x_l, W_l)

여기서 shortcut $h$ 와 after-addition activation $f$ 가 모두 identity라면 식은 단순해진다.

x_{l+1} = x_l + F(x_l, W_l)

이 식을 여러 layer에 대해 전개하면 다음과 같다.

x_L = x_l + \sum_{i=l}^{L-1} F(x_i, W_i)

즉 깊은 위치 $L$ 의 feature가 얕은 위치 $l$ 의 feature와 residual들의 합으로 직접 표현된다. Backward도 identity path를 가진다.

\frac{\partial \mathcal{L}}{\partial x_l} = \frac{\partial \mathcal{L}}{\partial x_L} \left(1 + \frac{\partial}{\partial x_l}\sum_{i=l}^{L-1}F(x_i,W_i)\right)

이 논문의 핵심 수식은 forward와 backward 모두에서 identity shortcut이 직접항을 제공한다는 점이다.

Pre-activation block은 residual branch 안에서만 BN/ReLU를 적용한다.

x_{l+1} = x_l + F(\mathrm{ReLU}(\mathrm{BN}(x_l)), W_l)

따라서 shortcut path는 activation이나 normalization에 의해 잘리지 않고 다음 block으로 전달된다.

ResNet에서 다시 묻는 질문

원래 ResNet은 shortcut을 통해 $x$ 를 더한다. 하지만 block 안에 BatchNorm, ReLU, convolution, addition, activation이 어떤 순서로 들어가는지에 따라 shortcut path가 완전한 identity로 남지 않을 수 있다.

이 논문은 residual learning의 핵심이 단순히 skip connection을 넣는 것이 아니라, signal이 방해받지 않고 지나갈 수 있는 path를 보존하는 데 있다고 본다.

Post-activation의 문제

초기 ResNet block은 convolution 후 residual을 더하고, 그 뒤에 ReLU를 적용한다. 이 경우 addition 뒤의 activation이 shortcut을 통과한 정보에도 영향을 준다. 음수 값은 잘릴 수 있고, gradient도 activation의 영향을 받는다.

즉 수식상으로는 shortcut이 있어도 실제 forward/backward 흐름은 완전한 identity가 아니다.

Pre-activation Block

Pre-activation 구조에서는 BN과 ReLU를 convolution 앞에 둔다. Residual branch 내부에서는 normalization과 activation을 거치지만, addition 이후에는 activation을 두지 않는다. 따라서 shortcut path는 더 직접적으로 다음 block으로 이어진다.

Pre-activation ResNet은 residual branch를 정규화하되, shortcut path는 최대한 깨끗한 identity로 유지한다.

왜 더 깊은 모델에서 중요한가

얕은 모델에서는 activation 위치 차이가 크게 보이지 않을 수 있다. 하지만 수백, 수천 layer로 깊어지면 작은 방해가 계속 누적된다. Identity path가 보존되면 gradient가 여러 block을 지나도 직접 전달될 수 있고, 모델은 필요한 block에서만 의미 있는 residual을 추가하면 된다.

한계와 영향

Pre-activation은 ResNet 계열에서 강력한 기본형이 되었지만, 항상 모든 architecture에서 그대로 최선은 아니다. Normalization 종류, activation 함수, block 설계가 바뀌면 최적 배치도 달라질 수 있다. 다만 이 논문이 남긴 원칙은 분명하다. 깊은 모델에서는 main transformation보다 signal highway의 품질이 중요하다.

읽을 포인트

post-activation과 pre-activation의 차이
identity shortcut이 forward/backward signal에 주는 영향
1000-layer 이상 network에서의 안정성
이후 normalization-first architecture와의 연결

정리

이 논문은 ResNet을 더 깊게 이해하게 해준다. Residual connection은 단순한 더하기 연산이 아니라, 정보와 gradient가 흐르는 경로 설계다. Shortcut을 identity에 가깝게 유지할수록 깊은 network의 학습은 안정된다.