[Paper Review | RL] Student-Informed Teacher Training (SITT)

Conference & Authors

ICLR 2025 | Nico Messikommer, Jiaxu Xing, Elie Aljalbout, Davide Scaramuzza

Paper Link

SITT가 다루는 문제는 Privileged Imitation Learning입니다.
Teacher가 실제와 비슷한 환경에서 학습하고, Student는 제한된 정보만으로 Teacher의 행동을 모방하는 방식입니다.

강화학습에서 정책을 다음과 같이 정의합니다.

\pi(a\mid s)

여기서 $s$ 는 환경상태이고, $a$ 는 행동입니다.

Teacher의 관측값을 $o_T$ , Student의 관측값을 $o_S$ 라고 하자.

\begin{align} a_T \sim \pi_T(\cdot\mid o_T)\\ a_S \sim \pi_S(\cdot\mid o_S) \end{align}

전통적인 방법에서는 Teacher를 충분히 학습시킨 후 고정하고, Student를 Teacher에 맞게 학습시킵니다.

\min_\phi\mathbb{E}[D(\pi_T,\pi_S)]

여기서 $\phi$ 는 Student의 파라미터입니다.

문제는 Teacher가 Student의 관측 한계를 전혀 고려하지 않는다는 점입니다.

아까 위에서 언급했듯, Teacher와 Student 간 Information Asymmetry를 해결하는 것이 중요합니다.

Student가 구분할 수 없는 두 환경상태를 생각해 봅시다.

s_1 \neq s_2

Teacher는 서로 다른 상태임을 알고 있으므로 다른 행동을 선택합니다.

\pi_T(s_1) \neq \pi_T(s_2)

그런데 Student 관측은 동일할 수 있습니다.

o_S(s_1) = o_S(s_2)

이 경우 Student는 같은 입력에 대해 서로 다른 정답을 맞혀야 합니다.
결정론적 Student 정책이라면 동일한 입력에 동일한 행동을 출력하므로, 두 행동을 동시에 정확하게 모방하는 것은 불가능합니다.

이 상황에서 Student가 아무리 학습해도 관측값에 없는 정보 복원은 어렵습니다.
때문에 SITT에서는 Teacher의 행동을 수정하는 방향을 선택합니다.