https://arxiv.org/pdf/1705.05363.pdf 1. 안 가본 state를 방문하면 exploration이 정말 잘될 텐데 2. 그럼 안 가본 state를 궁금해하는 모델을 만들자. self-supervised prediction 모델을 학습한 다음 에러만큼 리워드를 주면 curiosity를 정의할 수 있을것이다. 3. sparse한 리워드에 잘 먹히며, 심지어 No reward setting!!! 에서도 잘 된다고 한다.

https://arxiv.org/abs/1802.03268 Efficient Neural Architecture Search via Parameter Sharing We propose Efficient Neural Architecture Search (ENAS), a fast and inexpensive approach for automatic model design. In ENAS, a controller learns to discover neural network architectures by searching for an optimal subgraph within a large computational grap arxiv.org 1. 기존 뉴럴 아키텍쳐 서치는 전체 뉴럴넷을 찾느라 비효율적이다. 2..

https://res.mdpi.com/d_attachment/make/make-01-00019/article_deploy/make-01-00019-v2.pdf 1. casual relationship discovery problem은 주로 iid 가정이고, 시계열에 하려면 많은 고민과 고난(challenge)가 필요하다. 2. 그래서 Delay analysis까지 포함된 Attention-Based CNN 모델으로 본 문제를 해결해보도록 하겠다. 3. CAPM을 기반으로 만든 Finance 데이터셋 등에서 괜찮은 성능을 냈다고 한다. 개인적으로 성능으로 보나 모델의 구조적인 한계(non-stationary 데이터를 예측)로 보나 예측 성능보다는 casual relationship discovery에 초점..

https://arxiv.org/pdf/1912.00195.pdf 1. 기존 DARTS 정말 효율적이고 다 좋은데, 아직도 end-to-end 냄새가 난다. 문제를 부분 문제로 분할해 보자. 2. 매 스텝마다 어떤 메트릭에 따른 greedy decision으로 에지를 날려보면 어떨까? 이러면 엄청 효율적이지 않을까? 3. 잘 된다! 심지어 GCN도 찾아봤는데 되게 잘 된다. gpu 코스트도 darts에 비해 매우 낮아져 정말로 보급형 nas의 시대가 열린다! 3. 잘 된다! 심지어 GCN도 찾아봤는데 되게 잘 된다. gpu 코스트도 darts에 비해 매우 낮아져 정말로 보급형 nas의 시대가 열린다! 4. 오늘도 부분문제 분할은 항상 옳다는 것을 깨닫는다.

https://arxiv.org/pdf/2004.04136.pdf 1. 큰 observation size를 가진 강화학습 문제는 보통 sample inefficient한데, contrastive learning은 data augmentation 등을 통해 학습하므로 데이터를 레버리징하는 효과가 있다. 2. 따라서 둘을 합친 형태의 제너럴한 강화학습 프레임워크를 제안한다. 다른 논문들처럼 미래를 예측하는 world-model 스타일 대신 간단한 augmentation을 통한 contrastive learning을 사용한다. 3. 다양한 알고리즘에 적용한 결과 sample efficiency를 향상할 수 있었다. 최근 이런 스타일의 논문이 많이 보이는데, 강화학습 말고도 contrasive learning ..

https://arxiv.org/pdf/1806.09055.pdf 1. 기존 NAS는 RNN 컨트롤러를 이용해 연산을 하나하나 선택해서 뉴럴넷 만든다음 학습하고 다시 컨트롤러를 강화학습을 사용해 학습하는, “아키텍쳐의 val loss에 대해 controller가 미분가능하지 않은” 비효율적인 학습 방법을 사용했다. 2. 그래서 이번에는 아예 모든 연산을 다 쓰되, 그 연산의 가중치를 컨트롤로의 아웃풋(softmax) 값으로 하는 방식으로 한다. 3. 엄청나게 빠른 속도로 좋은 성능의 모델을 찾아낼 수 있었으며, CIFAR10-ImageNet으로, PTB-WT2로 generalization도 할 수 있다! 4. NAS만 놓고 본다면 매우 좋은 방법론임에 틀림없지만 다른 도메인의 DAG는 differenti..