[Paper Review] Machine Super Intelligence

#paper-review #artificial-intelligence #reinforcement-learning #kolmogorov-complexity #agi

논문 링크: Machine Super Intelligence

논문 정보

항목	내용
출판 시점	2008년
저자	Shane Legg
형식	Dissertation
주제	Universal intelligence, reinforcement learning, algorithmic information theory

핵심 아이디어

이 dissertation은 intelligence를 다양한 environment에서 goal을 달성하는 능력으로 정의하려는 시도이다. Bayesian inference, Occam's razor, Kolmogorov complexity, reinforcement learning을 연결해 universal intelligence measure를 논의한다.

Machine Super Intelligence의 핵심은 intelligence를 특정 task 성능이 아니라, 다양한 environment에서 reward를 얻는 일반 능력으로 보려는 것이다.

왜 중요한가

현대 deep learning 논문처럼 특정 benchmark 성능을 올리는 작업은 아니다. 대신 AGI, universal induction, AIXI, reinforcement learning의 이론적 배경을 이해하는 데 중요하다.

수식으로 보는 핵심

Legg-Hutter 계열의 핵심은 intelligence를 여러 environment에서 얻는 expected reward로 정의하는 것이다. Agent $\pi$ 의 universal intelligence는 다음처럼 쓸 수 있다.

\Upsilon(\pi) = \sum_{\mu \in E} 2^{-K(\mu)} V^{\pi}_{\mu}

여기서 $E$ 는 가능한 computable environment들의 집합이고, $V^{\pi}_{\mu}$ 는 agent $\pi$ 가 environment $\mu$ 에서 얻는 expected reward다.

V^{\pi}_{\mu} = \mathbb{E}\left[\sum_{t=1}^{\infty} \gamma^t r_t \mid \pi, \mu\right]

$K(\mu)$ 는 environment를 설명하는 Kolmogorov complexity다. 짧게 설명되는 environment일수록 prior weight가 크다.

w(\mu) = 2^{-K(\mu)}

이 정의의 핵심은 지능을 특정 benchmark 점수가 아니라, 단순한 환경일수록 더 크게 가중한 environment 전체에서의 reward 획득 능력으로 본다는 점이다.

이 수식은 Occam's razor를 intelligence measure 안에 넣는다. 하지만 $K(\mu)$ 는 계산 불가능하므로, 이 정의는 실용적 평가 지표라기보다 AGI를 논의하기 위한 이론적 기준점에 가깝다.

Intelligence를 어떻게 정의할 것인가

Shane Legg의 dissertation은 특정 benchmark 점수로 intelligence를 정의하는 대신, 다양한 environment에서 reward를 얻는 일반 능력으로 intelligence를 정의하려 한다. 이 관점에서는 체스만 잘 두는 시스템이나 특정 시험만 잘 푸는 시스템보다, 여러 환경에 걸쳐 좋은 정책을 찾는 agent가 더 일반적으로 지능적이다.

Agent-Environment Formalism

Agent는 action을 내고 environment는 observation과 reward를 돌려준다. Agent의 목표는 장기 reward를 최대화하는 것이다. 이 구조는 reinforcement learning의 기본 틀이며, universal intelligence measure를 정의하기 위한 출발점이다.

이 dissertation의 핵심은 intelligence를 다양한 environment에 대한 expected reward로 수학화하려는 시도다.

Kolmogorov Complexity와 Prior

모든 environment를 똑같이 중요하게 보면 measure가 의미를 잃는다. Legg-Hutter 관점에서는 단순한 environment에 더 높은 prior를 둔다. 이는 Occam's razor와 연결된다. 짧은 program으로 설명되는 environment일수록 더 높은 가중치를 받고, agent는 그런 environment 전반에서 좋은 성능을 내야 한다.

AIXI와의 연결

AIXI는 Solomonoff induction과 sequential decision theory를 결합한 이론적 agent다. 계산 가능하지는 않지만, 일반 지능을 수학적으로 논의하기 위한 기준점 역할을 한다. 이 dissertation은 AIXI, universal induction, reinforcement learning을 한 흐름으로 정리한다.

현대 AI와의 거리

이 글은 현대 deep learning 시스템을 직접 설계하는 engineering paper는 아니다. LLM benchmark, RLHF, tool use 같은 주제와 바로 맞물리지는 않는다. 대신 intelligence를 task collection이 아니라 environment distribution 위의 성능으로 보는 관점을 제공한다.

한계

Kolmogorov complexity는 계산 불가능하고, universal prior도 실제 시스템에 그대로 적용하기 어렵다. Reward로 intelligence를 정의할 때 value specification 문제가 남는다. 또 embodied interaction, social intelligence, language understanding 같은 요소가 단일 formalism에 충분히 들어가는지도 논쟁적이다.

읽을 포인트

intelligence definition과 Turing test의 한계
agent-environment interaction formalism
Kolmogorov complexity가 prior와 model simplicity에 주는 의미
이론적으로는 강하지만 계산 불가능한 measure의 한계

정리

Machine Super Intelligence는 AGI를 둘러싼 이론적 배경을 정리한 글로 읽는 것이 좋다. 핵심은 지능을 많은 환경에서 목표를 달성하는 능력으로 보고, 그 환경의 단순도를 algorithmic information theory로 가중하려는 시도다.