마진 기반의 특성 제거를 이용한 Multi-Class 지지 벡터 기계
Margin-based Feature Elimination for Multi-Class Support Vector Machines
- 주제(키워드) 지지 벡터 기계
- 발행기관 서강대학교 일반대학원
- 지도교수 김세준
- 발행년도 2011
- 학위수여년월 2011. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000046582
- 저작권 서강대학교의 논문은 저작권 보호를 받습니다.
초록/요약
지지 벡터 기계 (Support vector machines) 은 기본적으로 binary-class 분류를 위해 디자인 되었다. 효율적으로 multi-class로 확장시키는 문제는 아직도 진행 중인 이슈이다. 몇몇 binary-class 분류기의 조합을 통한 multi-class 분류기가 제시되었고 몇몇 학자들은 모든 클래스를 한 번에 고려하는 방법을 제시하였다. 앞으로 모든 클래스를 한번에 고려하는 방법을 all-together 방법이라고 하자. 또 다른 지지벡터 기계의 진행 중인 이슈는 특성 선택 (feature selection) 의 문제이다. 고차원의 특성공간에서 특성선택은 일반적인 분류의 정확성을 높여줄 뿐만 아니라 계산 복잡도 역시 줄일 수 있다. 지지 벡터 기계 분류기의 경우, 반복 특성 제거 (recursive feature elimination) 방법이 가장 넓게 사용되고 있다. 하지만, 최근 연구로 반복 특성 제거 방법이 일반적으로 마진 (margin) 을 최대화 시키지 못한다는 것이 밝혀졌다. 이를 극복하기 위해 마진과 일반적인 정확도를 향상하기 위한 새로운 방법인 마진 기반 특성 제거 (margin-based feature elimination) 가 제시되었다. 몇몇 학자들은 multi-class 에서의 특성 선택을 위해 반복 특성 제거 방법을 택하였다. 하지만 반복 특성 제거 방법은 이미 문제점이 제시되었다. 따라서 우리는 반복 특성 제거 방법이 아닌 마진 기반 특성 제거 방법을 이용해서 multi-class 문제에서 특성을 제거해 나갈 것이다. 우리의 실험은 UC Irvine 데이터 셋을 이용해서 실험을 하였다. 실험을 통해서 우리가 제시한 multi-class에서의 마진 기반 특성 제거 방법이 기존에 사용하던 반복 특성 제거 방법과 비교하여 일반적으로 좀 더 우수한 성능을 보임을 증명하겠다.
more초록/요약
Support vector machines (SVMs) were basically designed for binary class classification. How to effectively extend it for multi-class classification is still a popular research issue. Several methods have been proposed where we typically construct a multi-class classifier by combining several binary classifiers. Some authors also proposed methods that consider all classes at once. We call this method an “all-together” method. Another ongoing research issue is the problem of feature selection. Feature selection for classification working in high-dimensional feature spaces can improve generalization accuracy and reduce classifier complexity. For SVMs, a widely used feature selection technique is the recursive feature elimination (RFE). In a recent work, it is demonstrated that the RFE objective is not generally consistent with the margin maximization objective that is central to the SVM learning approach. To solve this problem, explicit margin-based feature elimination (MFE) for SVMs was proposed and improved generalization accuracy compared with RFE. Some authors have extended SVM-RFE to solve multi-class problems. Since RFE already has problems we extended MFE to solve multi-class problems. We have conducted experiments to test our schemes on UC Irvine dataset and experimental results showed that our schemes outperform.
more