https://arxiv.org/abs/1802.03268 Efficient Neural Architecture Search via Parameter Sharing We propose Efficient Neural Architecture Search (ENAS), a fast and inexpensive approach for automatic model design. In ENAS, a controller learns to discover neural network architectures by searching for an optimal subgraph within a large computational grap arxiv.org 1. 기존 뉴럴 아키텍쳐 서치는 전체 뉴럴넷을 찾느라 비효율적이다. 2..

https://res.mdpi.com/d_attachment/make/make-01-00019/article_deploy/make-01-00019-v2.pdf 1. casual relationship discovery problem은 주로 iid 가정이고, 시계열에 하려면 많은 고민과 고난(challenge)가 필요하다. 2. 그래서 Delay analysis까지 포함된 Attention-Based CNN 모델으로 본 문제를 해결해보도록 하겠다. 3. CAPM을 기반으로 만든 Finance 데이터셋 등에서 괜찮은 성능을 냈다고 한다. 개인적으로 성능으로 보나 모델의 구조적인 한계(non-stationary 데이터를 예측)로 보나 예측 성능보다는 casual relationship discovery에 초점..

https://arxiv.org/pdf/1912.00195.pdf 1. 기존 DARTS 정말 효율적이고 다 좋은데, 아직도 end-to-end 냄새가 난다. 문제를 부분 문제로 분할해 보자. 2. 매 스텝마다 어떤 메트릭에 따른 greedy decision으로 에지를 날려보면 어떨까? 이러면 엄청 효율적이지 않을까? 3. 잘 된다! 심지어 GCN도 찾아봤는데 되게 잘 된다. gpu 코스트도 darts에 비해 매우 낮아져 정말로 보급형 nas의 시대가 열린다! 3. 잘 된다! 심지어 GCN도 찾아봤는데 되게 잘 된다. gpu 코스트도 darts에 비해 매우 낮아져 정말로 보급형 nas의 시대가 열린다! 4. 오늘도 부분문제 분할은 항상 옳다는 것을 깨닫는다.

https://arxiv.org/pdf/1806.09055.pdf 1. 기존 NAS는 RNN 컨트롤러를 이용해 연산을 하나하나 선택해서 뉴럴넷 만든다음 학습하고 다시 컨트롤러를 강화학습을 사용해 학습하는, “아키텍쳐의 val loss에 대해 controller가 미분가능하지 않은” 비효율적인 학습 방법을 사용했다. 2. 그래서 이번에는 아예 모든 연산을 다 쓰되, 그 연산의 가중치를 컨트롤로의 아웃풋(softmax) 값으로 하는 방식으로 한다. 3. 엄청나게 빠른 속도로 좋은 성능의 모델을 찾아낼 수 있었으며, CIFAR10-ImageNet으로, PTB-WT2로 generalization도 할 수 있다! 4. NAS만 놓고 본다면 매우 좋은 방법론임에 틀림없지만 다른 도메인의 DAG는 differenti..

https://arxiv.org/pdf/1802.03494v4.pdf 1. 뉴럴넷 경량화는 당연하게도 디플로이 시 매우 중요한 것 중 하나인데, 사람이 하면 그냥 쌩 노가다에 가까운 작업이다(해봐서 안다) 그래서 이것을 자동화할 수 있다면 정말 대박인데, 그래서 이 논문이 대박이다(?) 2. 뉴럴넷 레이어의 임베딩을 받고 적정한 압축률을 제시하는 강화학습 에이전트(DDPG)를 이용해 자동화된 뉴럴넷 압축을 수행하게 되는데, 모델의 특성상 RNN을 사용하지 않아도 되어서 가볍다. 또한 리워드는 압축률과 정확성을 모두 잘 고려한 형태로 정의된다. 3. Human Expert에 비해 높은 압축률과 정확도를 취할 수 있었으며, 오버피팅 또한 관찰되지 않았다.

1. 학교나 기업의 전통적인 채용 프로세스는 먼저 서류나 추천 등으로 사람을 거르고 면접을 보는 것인데, 이것은 시간이 너무나 오래 걸리기 때문이다. 만약 우리가 NAS를 하면서 모든 모델을 학습시켜 정확도를 찍어보고 있다면, 수천명의 지원자를 면접하는 것과 같은 비효율적인 행위를 하는 것에 가까운 것이다. 2. 그렇다면 NAS에도 서류 전형을 도입할 수 있을까? 라는 아이디어에서 나온 것이 Neural Predictor인데, 이것은 몇 개의 아키텍쳐만 학습한 다음 Graph CNN을 이용해 아키텍쳐와 정확도에 대한 회귀 모델을 만드는 것이다. 3. Neural Predictor를 이용해 좋지 않은 모델을 미리 걸러냄으로써 기존 방법 대비 Sample Efficiency를 크게 향상시켰다.