[Paper Review] Scaling Laws for Neural Language Models

#paper-review #deep-learning #natural-language-processing #language-model #scaling-laws

논문 링크: Scaling Laws for Neural Language Models

논문 정보

항목	내용
출판 시점	2020년
저자	Jared Kaplan et al.
주제	Language model scaling, compute, data, parameters

핵심 아이디어

이 논문은 language model 성능이 model size, dataset size, compute budget에 따라 power-law 형태로 예측 가능하게 좋아진다는 경험 법칙을 제시한다.

Scaling laws의 핵심 메시지는 같은 architecture family 안에서는 성능 향상이 상당 부분 scale 변수로 설명된다는 것이다.

논문은 loss를 model parameter 수, data token 수, training compute의 함수로 분석한다. 특정 범위에서는 architecture 세부 차이보다 scale이 더 큰 영향을 준다는 결론을 제시한다.

왜 중요한가

GPT 계열 대형 언어 모델의 발전 방향을 이해할 때 중요한 논문이다. 더 큰 model, 더 많은 data, 더 많은 compute를 어떻게 배분할지에 대한 실험적 기준을 제공했다.

수식으로 보는 핵심

Scaling law는 loss를 model size $N$ , dataset size $D$ , compute $C$ 의 함수로 본다. 가장 단순한 형태는 power law다.

L(N) \approx L_\infty + \frac{A}{N^{\alpha}}

Data size에 대해서도 비슷하게 쓴다.

L(D) \approx L_\infty + \frac{B}{D^{\beta}}

Compute budget에 대해서는 다음처럼 표현할 수 있다.

L(C) \approx L_\infty + \frac{E}{C^{\gamma}}

핵심은 log-log plot에서 loss가 거의 직선처럼 움직인다는 점이다.

\log(L - L_\infty) \approx \log A - \alpha \log N

Scaling law의 핵심 수식은 성능 향상이 model/data/compute에 대해 power-law로 예측 가능하다는 점이다.

Compute-optimal training은 주어진 $C$ 에서 $N$ 과 $D$ 를 어떻게 나눌지 고르는 문제다.

\min_{N,D} L(N,D) \quad \text{subject to} \quad \mathrm{Compute}(N,D) \le C

따라서 이 논문은 큰 모델을 감으로 키우는 것이 아니라, 작은 실험으로 큰 학습의 loss를 예측하려는 시도다.

Scaling Law가 묻는 질문

Language model을 키우면 성능이 좋아진다는 사실은 경험적으로 알려져 있었다. 하지만 얼마나 큰 model을, 얼마나 많은 data로, 얼마나 오래 학습해야 하는지는 별개의 문제다. 이 논문은 loss가 parameter 수, dataset size, compute에 따라 예측 가능한 power law를 따른다고 분석한다.

세 가지 Scale 변수

주요 변수는 model parameter 수 $N$ , training data token 수 $D$ , compute budget $C$ 다. 어느 하나만 키우면 병목이 생긴다. 큰 model에 data가 부족하면 overfitting 또는 undertraining 문제가 생기고, data가 많아도 model이 작으면 capacity가 부족하다.

Scaling law는 model/data/compute 중 무엇이 현재 병목인지 판단하는 실험적 지도 역할을 한다.

Power Law의 의미

Loss가 power law로 감소한다는 것은 scale을 키울수록 개선이 계속되지만, marginal gain은 점점 작아진다는 뜻이다. 즉 compute를 10배 늘려도 loss가 10배 좋아지는 것은 아니다. 그래도 일정 범위에서는 매우 매끄럽게 예측되기 때문에, 큰 학습을 시작하기 전에 작은 실험으로 결과를 추정할 수 있다.

Compute-optimal 관점

논문은 주어진 compute budget에서 model size와 data size를 어떻게 배분할지 논의한다. 이후 Chinchilla 논문은 기존 대형 모델들이 상대적으로 data가 부족한 상태로 학습되었다고 주장하며 compute-optimal 배분을 수정했다. 따라서 이 논문은 최종 답이라기보다 scaling을 정량화한 첫 큰 기준점으로 읽는 것이 좋다.

한계

Scaling law는 같은 architecture family와 비슷한 training setup 안에서 강하다. Data quality, tokenizer, objective, architecture 변화, downstream alignment는 단순 power law만으로 설명하기 어렵다. 또 loss 감소가 곧 모든 능력의 균일한 향상을 의미하지도 않는다.

읽을 포인트

parameter count, dataset size, compute budget의 병목 관계
undertrained/overtrained model의 의미
이후 Chinchilla scaling law와의 차이
"scale만 키우면 되는가"라는 질문의 한계

정리

이 논문은 대형 언어 모델 연구를 직관과 감이 아니라 예측 가능한 engineering 문제로 바꿨다. 핵심은 scale이 중요하다는 단순한 말이 아니라, scale의 효과를 측정하고 compute budget에 맞춰 의사결정할 수 있게 했다는 점이다.