[3줄 RL] 과학적 발견도 에이전트에게 맡겨둬!

<openreview> https://openreview.net/pdf?id=S1g2skStPB

1. 과학적 발견, 그러니까 변수들 관의 causal structure를 찾아내는 것은 많은 과학 분야에서 핵심적인 이슈이다.  
causal structure를 찾는 문제는 주로 DAG(Directed Acyclic Graph)로 표현되며, 대부분의 문제가 많은 조합 수로 인해 NP-hard에 속한다.

2. 최근에 강화학습을 이용해 NP-Hard 수준의 Combinatorial Optimization을 푸는 접근이 매우 Promising 하므로, 본 논문에서는 Acyclicity와 Score Function을 모두 고려하여 DAG를 만드는프레임워크를 제안한다.

엔코더-디코더 구조가 인상적이다.

Pseudocode

3. Synthetic Data와 Real Data에서 모두 Causal Relationship를 찾는데 성공했다.

Results On Synthetic Data

Results On Real Data

4. DAG를 찾아야 하는 분야는 거의 과학 대부분이라고 할 수 있을 만큼 방대한데, 그 점에서 되게 좋은 논문인 것 같다. Curiosity나 Diversity 기반 방법과 융합하면 어떨까 라는 생각을 해 본다.