[3줄 AutoML] RNN형은 잠깐 빠져있어

<arxiv> https://arxiv.org/pdf/1806.09055.pdf

1. 기존 NAS는 RNN 컨트롤러를 이용해 연산을 하나하나 선택해서 뉴럴넷 만든다음 학습하고 다시 컨트롤러를 강화학습을 사용해 학습하는, “아키텍쳐의 val loss에 대해 controller가 미분가능하지 않은” 비효율적인 학습 방법을 사용했다.

2. 그래서 이번에는 아예 모든 연산을 다 쓰되, 그 연산의 가중치를 컨트롤로의 아웃풋(softmax) 값으로 하는 방식으로 한다.

학습이 진행됨에 따라 필요한 연산만 남는다

3. 엄청나게 빠른 속도로 좋은 성능의 모델을 찾아낼 수 있었으며, CIFAR10-ImageNet으로, PTB-WT2로 generalization도 할 수 있다!

4. NAS만 놓고 본다면 매우 좋은 방법론임에 틀림없지만 다른 도메인의 DAG는 differentiable하지 않은 경우가 더 많아 이런 태스크는 한계라고 할 수 있다. 추가로 NAS 관점에서는 Neural Predictor랑 합치면 엄청 좋을 거 같다는 생각