부스팅 기반 최신 트리 알고리즘 비교 연구
- 주제(키워드) 트리방법 , 부스팅 , 경사부스팅 , XGBoost , LightGBM
- 발행기관 서강대학교 일반대학원
- 지도교수 이윤동
- 발행년도 2019
- 학위수여년월 2019. 2
- 학위명 석사
- 학과 및 전공 일반대학원 경영학과
- 실제URI http://www.dcollection.net/handler/sogang/000000063939
- UCI I804:11029-000000063939
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
트리방법을 구현하기 위하여 부스팅기법이 사용된다. 부스팅은 효과적인 분류분석을 수행하기 위하여 제안된 알고리즘으로, 목적함수의 최적화를 위하여 경사하강법(gradient descent)을 적용하는 경사부스팅기법으로 개념이 확장 발전되었다. 본 논문에서는 트리방법에 적용되는 경사부스팅 알고리즘을 중심으로, 트리 방법, 부스팅기법과 관련된 알고리즘을 비교 정리하고, 부스팅 알고리즘을 소프트웨어로 구현한 xgboost, lightgbm, adabag을 대상으로 실제 자료에서의 성능을 비교하였다. 비교를 위한 데이터는 어바나 샴페인 기계학습 저장소에서 반응변수의 유형을 이범주인 경우, 다범주인 경우로 구별하여 자료를 선정하였다. 이범주는 명목형 및 수치형, 수치형 예측변수를 사용하였고, 다범주는 명목형, 수치형 예측변수를 사용하여, 부스팅 알고리즘들을 비교하였다. 알고리즘들의 비교는 학습속도와 정확성의 두 가지 측면으로 비교하였으며, 학습속도 측면에서는 LightGBM이 빨랐으며, 정확성 측면에서는 XGBoost가 더 나은 결과를 보였다.
more