Attempts have been made to incorporate advanced machine learning techniques to handle financial data due to their non-linearity, high-dimensionality, and non-stationarity. However, even with wider applications in finance, such techniques have given limited insights to investors due to their black-box nature. In addition, typical portfolio optimization through machine learning takes two steps, return prediction and weight assignment, which magnify optimization error. To overcome aforementioned limitation, this paper implements deep reinforcement learning-based portfolio optimization model introduced by Cong, Tang, Wang, and Zhang (2020) to the Korean stock market. The model consisted of Transformer Encoder and Cross-Asset Attention Network optimizes Sharpe ratio of directly constructed portfolio. The portfolio exhibits outstanding out of sample performance even under various restrictions, including transaction costs, and short sale constraints. Lastly, the interpretation of the model is achieved by replicating policy network of the model into second degree polynomial. Through dominant feature ranking and feature dynamic analysis, it is concluded that the model depicts SG&A to sales ratio as one of the most dominant features, and it tends to put more weights on profitability characteristics during earlier months in the test period from 2006 to 2020 and value characteristics during the later months.
금융데이터의 비선형성, 고차원성, 그리고 비정상성을 다루고자 최신 머신러닝 기법들을 금융에 접목시키려 하는 시도가 활발하게 일어나고 있다. 하지만 폭 넓어진 활용방법에도 불구하고 이러한 머신러닝 기법들은 해석이 용이하지 않다는 성질 때문에 투자자에게 제한된 통찰만을 가져다준다. 또한 머신러닝을 활용한 일반적인 포트폴리오 최적화 모델은 수익률을 예측하고 자산을 배분하는 두가지 절차를 포함한 방법을 취하고 이는 최적화 오류를 확대시킨다. 이러한 머신러닝의 부족한 점들을 보완하기 위해 본 논문은 Cong, Tang, Wang, Zhang (2020)의 딥러닝을 접목시킨 강화학습 모델을 한국 주식시장에 적용한다. 트랜스포머 인코더와 자산간 어텐션 네트워크를 포함한 이 모델은 샤프지수를 최적화시키는 방법으로 포트폴리오를 직접 구성한다. 이렇게 구성된 포트폴리오는 거래비용, 공매도 제한 등과 같은 다양한 제약 속에서도 뛰어난 표본외 성능을 보여준다. 마지막으로, 본 논문은 이 모델의 정책 네트워크를 이차 다항식으로 복제하는 방법을 통해 모델을 해석한다. 중요 특성의 순위분석과 동적분석을 통해 회사의 판매관리비가 모델이 가장 중요하게 고려하는 특성 중 하나라는 것을 알 수 있고 2006년부터 2020년까지의 테스트 기간 중 초기에는 모델이 회사의 수익성과 관련된 특성을 포트폴리오 구성에 더 크게 반영하고 시간이 지남에 따라 회사의 가치를 나타내는 특성을 포트폴리오 구성에 더 크게 반영한다는 것을 결론 지을 수 있다.
