[Paper Review] Neural Message Passing for Quantum Chemistry

#paper-review #deep-learning #graph-neural-network #message-passing #quantum-chemistry

논문 링크: Neural Message Passing for Quantum Chemistry

논문 정보

항목	내용
출판 시점	2017년
저자	Justin Gilmer, Samuel S. Schoenholz, Patrick F. Riley, Oriol Vinyals, George E. Dahl
주제	Graph neural network, message passing, molecular property prediction

핵심 아이디어

이 논문은 여러 graph neural network 계열 방법을 Message Passing Neural Network(MPNN)라는 framework로 정리한다. Graph의 node는 atom, edge는 bond나 distance relation으로 볼 수 있다.

Message passing phase에서는 각 node가 neighbor로부터 message를 받아 hidden state를 갱신한다. Readout phase에서는 graph 전체 representation을 만들어 molecule property를 예측한다.

MPNN의 핵심은 graph 위의 learning을 neighbor message aggregation과 graph-level readout으로 일반화한 것이다.

왜 중요한가

이 논문은 GNN을 molecular property prediction에 적용한 대표 연구이며, 이후 GCN, GAT, GraphSAGE, MPNN 계열을 이해하는 기본 틀을 제공한다.

수식으로 보는 핵심

MPNN은 graph $G=(V,E)$ 위에서 node hidden state를 반복적으로 갱신한다. Node $v$ 가 받는 message는 neighbor $w$ 들로부터 온 message의 합이다.

m_v^{t+1} = \sum_{w \in N(v)} M_t(h_v^t, h_w^t, e_{vw})

Node state는 update function으로 갱신된다.

h_v^{t+1} = U_t(h_v^t, m_v^{t+1})

$T$ 번 message passing을 한 뒤 graph-level readout으로 molecular property를 예측한다.

\hat{y} = R(\{h_v^T \mid v \in G\})

Readout $R$ 은 node 순서에 영향을 받지 않아야 한다. 그래서 sum, mean, Set2Set 같은 permutation-invariant aggregation을 쓴다.

MPNN의 핵심 수식은 molecule property prediction을 neighbor message aggregation과 graph-level readout으로 분해한다는 점이다.

분자에서 node는 atom, edge는 bond 또는 distance relation으로 해석된다. Edge feature $e_{vw}$ 가 들어가기 때문에 bond type이나 spatial relation을 message에 반영할 수 있다.

Molecule을 Graph로 보는 이유

분자는 atom과 bond로 이루어진 graph로 표현할 수 있다. Atom의 종류, charge, valence 같은 정보는 node feature가 되고, bond type이나 거리 정보는 edge feature가 된다. Molecular property는 개별 atom 하나가 아니라 전체 graph 구조와 상호작용에서 결정된다.

MPNN Framework

논문은 message passing phase와 readout phase로 GNN 계열을 정리한다. Time step $t$ 에서 node $v$ 는 neighbor $w$ 들로부터 message를 받는다.

$m_v^{t+1} = sum_{w in N(v)} M_t(h_v^t, h_w^t, e_{vw})$

그 다음 update function이 hidden state를 갱신한다.

$h_v^{t+1} = U_t(h_v^t, m_v^{t+1})$

마지막에는 readout function이 node state들을 모아 graph-level prediction을 만든다.

MPNN은 GNN을 message, update, readout 세 구성요소로 분해해 여러 모델을 하나의 언어로 설명한다.

Quantum Chemistry Task

QM9 같은 dataset에서는 분자의 energy, dipole moment, HOMO-LUMO gap 같은 물성을 예측한다. 이 값들은 quantum calculation으로 얻을 수 있지만 비용이 크다. MPNN은 graph representation을 학습해 이런 property를 빠르게 근사하려 한다.

Permutation Invariance

Graph의 node ordering은 임의적이다. 같은 분자를 다른 순서로 번호 붙여도 예측은 같아야 한다. Message aggregation과 readout은 sum 같은 permutation-invariant operation을 사용해 이 성질을 만족한다.

한계

기본 message passing은 가까운 neighbor 정보를 반복적으로 확산시키는 방식이라, long-range interaction이나 3D geometry를 충분히 반영하기 어렵다. 또 여러 layer를 쌓으면 node representation이 비슷해지는 over-smoothing 문제가 생길 수 있다. 이후 모델들은 distance, angle, equivariance를 더 직접적으로 넣는 방향으로 발전했다.

읽을 포인트

message function, update function, readout function의 역할
permutation invariance가 graph representation에서 중요한 이유
QM9 dataset과 quantum chemistry target
molecule graph에서 edge feature와 distance 정보가 갖는 의미

정리

이 논문은 GNN을 응용 논문 하나로 끝내지 않고, message passing이라는 일반 framework로 정리했다는 점이 중요하다. 분자 예측뿐 아니라 social graph, program graph, physical system modeling을 볼 때도 message/update/readout 관점은 기본 도구가 된다.