심층강화학습을 활용한 투자 포트폴리오 관리 시 기술적 지표 사용 효과 연구
Effects of using Technical Indicators for Financial Portfolio Management with Deep Reinforcement Learning
- 주제어 (키워드) 심층강화학습 , 투자 , 포트폴리오 관리 , 기술적 지표 , DDPG , TD3 , Deep Reinforcement Learning , Investment , Portfolio Management , Technical Indicator , DDPG , TD3
- 발행기관 서강대학교 정보통신대학원
- 지도교수 소정민
- 발행년도 2023
- 학위수여년월 2023. 2
- 학위명 석사
- 학과 및 전공 정보통신대학원 데이터사이언스 · 인공지능
- 실제 URI http://www.dcollection.net/handler/sogang/000000070046
- UCI I804:11029-000000070046
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
Investing in risky assets is essential for maintaining and increasing long-term asset value, but human irrationality is usually an obstacle to successful investment. Algorithm trading has been attracting attention as an alternative to overcome this problem, and recent attempts to introduce reinforcement learning into investment are active. However, there is still much room for research and improvement. In this paper, TD3(Twin Delayed Deep Deterministic Policy Gradient), which is a variant of Deep Deterministic Policy Gradient reinforcement learning method, was used for constructing investment portfolios to confirm whether technical indicators, such as RSI and MACD, improve investment performance, when are added in addition to primary data such as daily prices and trading volume as input values. At the same time, it was tested whether technical indicators’ effects change when the number of layers of the convolutional neural network used in the deep reinforcement learning system increases. As a result of the experiment, some technical indicators, such as the Stochastic Oscillator, were identified as an effective additional input for performance improvement under certain circumstances. However, the differences between the experimental groups became insignificant as the complexity of the neural network increased. In other words, when the complexity of the deep neural network was adjusted to the proper extent, similar effects could be obtained without selecting, calculating, and inputting technical indicators in artificial ways. On the other hand, it was observed that the performance might deteriorate when the input feature dimension is excessive compared to the neural network’s complexity.
more초록 (요약문)
위험자산 투자는 장기적 자산가치 유지 및 증식에 필수적이나, 인간의 비이성은 대체로 성공적 투자의 걸림돌이다. 이를 극복하기 위한 대안으로 알고리즘 트레이딩이 관심을 받아왔으며, 최근에는 강화학습을 투자에 도입하려는 시도가 활발하나 연구와 개선 여지가 여전히 크다. 본 논문에서는 심층 확정적 정책 그래디언트 강화학습 방법인 TD3(Twin Delayed Deep Deterministic Policy Gradient)를 이용한 투자 포트폴리오 구성 시 입력값으로 일별 주가 및 거래량 등 기본 자료 외에 RSI, MACD 등 기술적 지표를 추가할 경우 투자 성과가 향상되는지, 그리고 심층강화학습 시스템에서 사용한 합성곱신경망의 계층수를 확대할 경우 기술적 지표의 효과가 변화하는지 확인하였다. 실험 결과, 특정 환경에서 스토캐스틱오실레이터 등 성과 향상에 긍정적 영향을 끼치는 기술적 지표가 확인되었으나 신경망 복잡도가 높아질수록 유의미한 효과는 소멸하였다. 즉, 심층신경망의 복잡도를 적절하게 조절하면 기술적 지표를 인위적으로 선정∙계산∙입력하지 않아도 유사한 효과를 얻을 수 있었다. 한편, 신경망 복잡도 대비 입력 특징 차원이 과다하면 오히려 성과가 악화할 수 있음을 확인하였다.
more