AI Paper Review/AutoML Papers
[3줄 AutoML] 옵티마이저도 한번 찾아볼까?
Bellman
2021. 7. 7. 23:46
<arxiv> https://arxiv.org/abs/1709.07417
Neural Optimizer Search with Reinforcement Learning
We present an approach to automate the process of discovering optimization methods, with a focus on deep learning architectures. We train a Recurrent Neural Network controller to generate a string in a domain specific language that describes a mathematical
arxiv.org
1. 뉴럴넷도 찾고, 활성화함수도 찾는데 옵티마이저라고 못 찾을 거 있나? 옵티마이저도 computational graph 형태로 표현할수 있으니 찾을 수 있고 찾았다!
2. 그럼 옵티마이저는 어떻게 추상화해서 강화학습으로 풀어야 할까? 옵티마이저의 특성상 temp 메모리를 쓸 수 있게 추상화해야겠구나!
3. Rosenbrock Function test와 이미지넷 학습 등 여러 태스크에서 Adam을 뛰어넘는 성적을 보였으나, NMT(Neural Machine Translation) 에서는 Adam에게 진 것으로 보아 아주 제너럴하지는 않고 그럭저럭 제너럴하다고 볼 수 있을 것 같다. (그래서인지 Swish는 가끔 쓰이는데 여기서 찾은 optimizer는 쓰는 걸 못봤다)
