[3줄 AutoML] NAS with RL: 그 원대한 시작

<arxiv> https://arxiv.org/abs/1611.01578
1. 근본적인 물음: 좋은 비전 아키텍쳐란 무엇이고 어떻게 표현할 수 있으며, 어떻게 만들어야 하는가? 꼭 사람이 만들어야 하는가?

2. NN은 결국 computational graph로 표현할 수 있다면, 노드들을 쌓아서 NN을 만들 수 있고, 결국 강화학습으로 해결 가능한 하나의 sequential decision making problem으로 해석할 수 있다!

RNN 컨트롤러+강화학습을 이용해 NAS

시간이 지남에 따라 네트워크가 개선됨

3. 800개의 GPU를 갈아넣은 결과 기존에 찾아볼 수 없었던 구조의 새롭고 성능좋은 뉴럴넷이 탄생했으며, 이것은 “강화학습 기반 NAS”의 진정한 시작을 의미한다.

CIFAR-10 실험 결과

PTB 실험 결과