https://arxiv.org/pdf/2101.05950.pdf 1. 성능좋은 AutoML에 대한 연구는 많은데 왜 Adversarial Attack에 Robust한 Feature Selection을 해주는 AutoML은 없을까? 2. 그래서 ERM 기반으로 0-1 Robust Error를 정의하고 이거 기반으로 옵티마이즈 하는 Robusta라는 프레임웤을 준비했어. 3. 실제로 공격해 보았는데도 다른 방법론들에 비해 Robustness가 괜찮았고, AutoML이 옵티마이즈할 새로운 Objective Function (Robustness)을 제시했다는 관점에서 노블티를 줄 수 있을 것 같아.

https://arxiv.org/pdf/1705.05363.pdf 1. 안 가본 state를 방문하면 exploration이 정말 잘될 텐데 2. 그럼 안 가본 state를 궁금해하는 모델을 만들자. self-supervised prediction 모델을 학습한 다음 에러만큼 리워드를 주면 curiosity를 정의할 수 있을것이다. 3. sparse한 리워드에 잘 먹히며, 심지어 No reward setting!!! 에서도 잘 된다고 한다.

https://arxiv.org/abs/1802.03268 Efficient Neural Architecture Search via Parameter Sharing We propose Efficient Neural Architecture Search (ENAS), a fast and inexpensive approach for automatic model design. In ENAS, a controller learns to discover neural network architectures by searching for an optimal subgraph within a large computational grap arxiv.org 1. 기존 뉴럴 아키텍쳐 서치는 전체 뉴럴넷을 찾느라 비효율적이다. 2..

https://res.mdpi.com/d_attachment/make/make-01-00019/article_deploy/make-01-00019-v2.pdf 1. casual relationship discovery problem은 주로 iid 가정이고, 시계열에 하려면 많은 고민과 고난(challenge)가 필요하다. 2. 그래서 Delay analysis까지 포함된 Attention-Based CNN 모델으로 본 문제를 해결해보도록 하겠다. 3. CAPM을 기반으로 만든 Finance 데이터셋 등에서 괜찮은 성능을 냈다고 한다. 개인적으로 성능으로 보나 모델의 구조적인 한계(non-stationary 데이터를 예측)로 보나 예측 성능보다는 casual relationship discovery에 초점..

https://arxiv.org/pdf/1912.00195.pdf 1. 기존 DARTS 정말 효율적이고 다 좋은데, 아직도 end-to-end 냄새가 난다. 문제를 부분 문제로 분할해 보자. 2. 매 스텝마다 어떤 메트릭에 따른 greedy decision으로 에지를 날려보면 어떨까? 이러면 엄청 효율적이지 않을까? 3. 잘 된다! 심지어 GCN도 찾아봤는데 되게 잘 된다. gpu 코스트도 darts에 비해 매우 낮아져 정말로 보급형 nas의 시대가 열린다! 3. 잘 된다! 심지어 GCN도 찾아봤는데 되게 잘 된다. gpu 코스트도 darts에 비해 매우 낮아져 정말로 보급형 nas의 시대가 열린다! 4. 오늘도 부분문제 분할은 항상 옳다는 것을 깨닫는다.

https://arxiv.org/pdf/1806.09055.pdf 1. 기존 NAS는 RNN 컨트롤러를 이용해 연산을 하나하나 선택해서 뉴럴넷 만든다음 학습하고 다시 컨트롤러를 강화학습을 사용해 학습하는, “아키텍쳐의 val loss에 대해 controller가 미분가능하지 않은” 비효율적인 학습 방법을 사용했다. 2. 그래서 이번에는 아예 모든 연산을 다 쓰되, 그 연산의 가중치를 컨트롤로의 아웃풋(softmax) 값으로 하는 방식으로 한다. 3. 엄청나게 빠른 속도로 좋은 성능의 모델을 찾아낼 수 있었으며, CIFAR10-ImageNet으로, PTB-WT2로 generalization도 할 수 있다! 4. NAS만 놓고 본다면 매우 좋은 방법론임에 틀림없지만 다른 도메인의 DAG는 differenti..