https://openreview.net/pdf?id=AY8zfZm0tDd 1. 모델 베이스드 방법론들 최근에 되게 좋은 sample efficiency 보여줬는데, 우리는 모델 프리로 기존 모델 베이스드 방법들 이겨보겠다. 또한 자원도 덜 쓰는 모델을 만들겠다! 2. Sample Efficient 하다는건 데이터를 잘 쓴다는 뜻이므로 Update-To-Data Ratio를 올린 알고리즘을 만들어야지? 근데 그럼 다른 알고리즘도 UTD ratio 올리면 잘 되는거 아니냐는 반문이 있을 수 있다. 3. 그렇지만 SAC 같은 알고리즘은 UTD ratio를 너무 많이 쓰면 당연하게도 bias와 그 표준편차가 매우 커져 불안정하게 된다. 이것을 해결하기 위해 ensemble 방법론과 in-target minim..

https://arxiv.org/pdf/1709.07150.pdf 1. Feature Extraction은 머신러닝에서 되게 큰 문제인데, 도메인 전문가를 고용해야 하기 때문이고 이분들의 몸값은 대개 많이 비싸기 때문이다. 이것을 자동화할 수는 없을까? 라는 질문이 떠오른다. 2. Feature Extraction은 되게 어려운 문제지만 사실 아웃풋은 그냥 로우 데이터에 어떤 연산을 적용해 무엇을 무엇과 조합하는지에 대한 계산, 즉 계산 그래프로써 표현될 수 있는데 또 이런거 잘 찾는 방법론이 강화학습 이라는 것을 우리는 NAS와 NOS 등에서 보았다. 그래서 이번에도 강화학습을 들고 왔다! 3. 로우데이터를 그대로 넣는 모델은 물론 기존 Automated FE 모델들까지 뛰어넘는 모습이다. 금융 데이터..