[3줄 NLP] How could Neural Networks understand Programs?

<arxiv> https://arxiv.org/pdf/2105.04297.pdf

1. 자연어처리에서 fundamental한 문제인 Programming Language Processing(PLP) 풀기 위해 고안된 pretrained Model

2. 트랜스포머 기반의 모델에 소스코드/바이너리를 그대로 넣는 것이 아닌 정적 코드 분석을 이용해 abstract environment로 바꿔 넣음, 벤치마크들 아웃퍼폼

Main Architecture

Experimental Results

3. 정적인 코드 분석만 가능하고 코드가 컴파일 가능함을 가정하고 있기 때문에 현대에 사용되는 IDE 환경이나 파이썬과 같은 스크립트 언어에서의 사용은 아직 한계임.