https://arxiv.org/abs/1802.03268 Efficient Neural Architecture Search via Parameter Sharing We propose Efficient Neural Architecture Search (ENAS), a fast and inexpensive approach for automatic model design. In ENAS, a controller learns to discover neural network architectures by searching for an optimal subgraph within a large computational grap arxiv.org 1. 기존 뉴럴 아키텍쳐 서치는 전체 뉴럴넷을 찾느라 비효율적이다. 2..

https://arxiv.org/pdf/1806.09055.pdf 1. 기존 NAS는 RNN 컨트롤러를 이용해 연산을 하나하나 선택해서 뉴럴넷 만든다음 학습하고 다시 컨트롤러를 강화학습을 사용해 학습하는, “아키텍쳐의 val loss에 대해 controller가 미분가능하지 않은” 비효율적인 학습 방법을 사용했다. 2. 그래서 이번에는 아예 모든 연산을 다 쓰되, 그 연산의 가중치를 컨트롤로의 아웃풋(softmax) 값으로 하는 방식으로 한다. 3. 엄청나게 빠른 속도로 좋은 성능의 모델을 찾아낼 수 있었으며, CIFAR10-ImageNet으로, PTB-WT2로 generalization도 할 수 있다! 4. NAS만 놓고 본다면 매우 좋은 방법론임에 틀림없지만 다른 도메인의 DAG는 differenti..

https://openaccess.thecvf.com/content_ECCV_2018/papers/Chenxi_Liu_Progressive_Neural_Architecture_ECCV_2018_paper.pdf 1. 기존 NAS는 무거운 RNN 셀과 RL을 사용하여 모델을 매번 처음부터 만들고 재학습시켜야 해서 되게 무겁고 비효율적이었다. 2. 그럼 재학습을 안 시키기 위해서 그냥 모델의 퍼포먼스를 프리딕션하는 모델을 만들고, 매번 만들지 말고 붙였다 뗐다 발전시켜나가는 방향의 NAS 시스템을 만들면 어떨까? 3. 기존 Zoph et al의 NAS보다 5배정도 빠른데다가, 아키텍쳐 성능도 정말 좋다!

https://arxiv.org/abs/1709.07417 Neural Optimizer Search with Reinforcement Learning We present an approach to automate the process of discovering optimization methods, with a focus on deep learning architectures. We train a Recurrent Neural Network controller to generate a string in a domain specific language that describes a mathematical arxiv.org 1. 뉴럴넷도 찾고, 활성화함수도 찾는데 옵티마이저라고 못 찾을 거 있나? 옵티마이..

https://arxiv.org/abs/1710.05941 Searching for Activation Functions The choice of activation functions in deep networks has a significant effect on the training dynamics and task performance. Currently, the most successful and widely-used activation function is the Rectified Linear Unit (ReLU). Although various hand-design arxiv.org 1. 그래, 렐루 좋은데 언제까지 렐루에만 안주할래? 우리는 오토매틱 서치로 새로운 액티베이션 펑션 만들거야! 2..

https://arxiv.org/abs/1611.01578 1. 근본적인 물음: 좋은 비전 아키텍쳐란 무엇이고 어떻게 표현할 수 있으며, 어떻게 만들어야 하는가? 꼭 사람이 만들어야 하는가? 2. NN은 결국 computational graph로 표현할 수 있다면, 노드들을 쌓아서 NN을 만들 수 있고, 결국 강화학습으로 해결 가능한 하나의 sequential decision making problem으로 해석할 수 있다! 3. 800개의 GPU를 갈아넣은 결과 기존에 찾아볼 수 없었던 구조의 새롭고 성능좋은 뉴럴넷이 탄생했으며, 이것은 “강화학습 기반 NAS”의 진정한 시작을 의미한다.