[3줄 RL] 이미지로 LQR하기

<arxiv> https://arxiv.org/pdf/1808.09105.pdf

1. 기존 Model-Free DRL은 이미지 observation같은 거로도 잘 학습하지만 sample efficiency가 다소 떨어지고, Model Based Method인 LQR 같은 건 sample efficiency가 좋지만 이미지 같은 건 쓸수 있을리가 없는데 이거 어떻게 두개 못 합칠까?

2. 그래! 이미지를 간단한 행렬로 만들어주는 Representation Learning을 사용해서 거기에 LQR을 적용하면 되겠구나.

method overview

3. 최종 성능은 막 좋지 않지만 2시간만에 image observation 만으로 complex manipulation 문제를 풀 정도로 sample efficient한 알고리즘이 나왔는데, 사실 필자는 성능보다도 representation learning+LQR이라는 컨셉이 더 값지다고 생각한다.

complex manipulation

comparison to various baselines