[3줄 AutoML] 옵티마이저도 한번 찾아볼까?

<arxiv> https://arxiv.org/abs/1709.07417

Neural Optimizer Search with Reinforcement Learning

1. 뉴럴넷도 찾고, 활성화함수도 찾는데 옵티마이저라고 못 찾을 거 있나? 옵티마이저도 computational graph 형태로 표현할수 있으니 찾을 수 있고 찾았다!

2. 그럼 옵티마이저는 어떻게 추상화해서 강화학습으로 풀어야 할까? 옵티마이저의 특성상 temp 메모리를 쓸 수 있게 추상화해야겠구나!

추상화된 기존 optimizer들

Adam이 만들어지는 과정

학습됨에 따라 리워드가 오름

3. Rosenbrock Function test와 이미지넷 학습 등 여러 태스크에서 Adam을 뛰어넘는 성적을 보였으나, NMT(Neural Machine Translation) 에서는 Adam에게 진 것으로 보아 아주 제너럴하지는 않고 그럭저럭 제너럴하다고 볼 수 있을 것 같다. (그래서인지 Swish는 가끔 쓰이는데 여기서 찾은 optimizer는 쓰는 걸 못봤다)

다른 옵티마이저와의 비교

Rosenbrock function에서의 테스트

이미지넷 결과(MobileNet)

PTB 데이터 기반 NMT 결과