[3줄 AutoML] 효율적 NAS의 전설, ENAS

2021. 8. 4. 22:40AI Paper Review/AutoML Papers

<arxiv> https://arxiv.org/abs/1802.03268

Efficient Neural Architecture Search via Parameter Sharing

We propose Efficient Neural Architecture Search (ENAS), a fast and inexpensive approach for automatic model design. In ENAS, a controller learns to discover neural network architectures by searching for an optimal subgraph within a large computational grap

arxiv.org


1. 기존 뉴럴 아키텍쳐 서치는 전체 뉴럴넷을 찾느라 비효율적이다.

2. 어차피 CNN이든 RNN이든 Cell 단위가 있는데 굳이 전체 아키텍쳐를 찾을 이유가? 셀 단위로 찾아보자.

Example Of RNN Cell

3. 비교도 안 될 정도로 효율적인데다가 성능까지 같거나 비슷하다. 항상 구조적인 inductive bias는 좋다는 것을 느낀다.

Experimental Results