적층 합성곱 오토-인코더 기반의 로지스틱 회귀 모델링
Logistic regression modeling based on stacked convolutional autoencoder
- 주제(키워드) 합성곱 , 오토-인코더 , 로지스틱 회귀
- 발행기관 서강대학교 정보통신대학원
- 지도교수 오경환
- 발행년도 2021
- 학위수여년월 2021. 2
- 학위명 석사
- 학과 및 전공 정보통신대학원 데이터사이언스
- UCI I804:11029-000000065771
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
최근 빅데이터 환경으로 다양한 형태의 대량의 데이터가 생성되고 있으며, 데이터를 분석하기 위해 딥러닝 신경망 연구가 활발하게 진행되고 있다. 데이터를 분석하고 지식을 발견하기 위해서 데이터의 사전처리 작업은 분석 단계에 준하여 중요하고 많은 시간을 소요한다. 또한 데이터의 유형도 사진, 동영상, 음성 등 비정형 데이터를 학습하고 예측하기 위해 다양한 신경망 구조를 사용한다. 비정형 데이터는 비선형, 고차원으로 복잡도가 높은 특성으로 분석을 위한 많은 컴퓨팅 자원을 사용하고 연산의 수가 증가한다. 데이터 마이닝에서 분석 모델의 신뢰성과 연산의 효율성을 향상하기 위해서 주성분 분석 기법(PCA)을 사용하여 입력데이터를 최적화하는 단계를 수행한다. 사전 처리한 데이터의 정도(level)에 따라 분석 및 기계학습 성능에 영향을 받는다. 사진과 같은 비정형 데이터의 경우, 비선형성과 높은 복잡도로 주성분 분석(PCA) 기법을 사용하는데 제약이 있으며, 2차원 형태의 사진에 대해 기계학습 성능이 우수한 합성곱 신경망(convolution neural net)으로 데이터의 유효한 패턴을 학습하고 차원을 축소하는 적층 합성곱 오토-인코더로 데이터 변환 과정을 수행할 수 있다. 딥러닝(deep learning) 신경망의 특화된 유형인 오토-인코더는 입력데이터의 중요한 패턴을 학습하고 차원 축소된 잠재변수(latent vector)를 입력데이터와 동일하게 복원하는 학습을 수행하는 신경망이다. 적층 합성곱 오토-인코더를 기반으로 23,705명의 흑백 사진을 잠재변수로 변환하여 사람의 성별을 예측하는 로지스틱 회귀 모델링 방안을 제안한다. 적층 합성곱 오토-인코더 구조를 여러 유형으로 구성하기 위해 은닉층(hidden layer) 계층구조와 잠재변수의 차원(dimension)을 점진적으로 설계하고 추출한 잠재변수로 성별을 예측하는 모델을 제시한다. 설계한 유형별 예측 모형의 성능과 각 유형의 인코더 네트워크(network)와 2개의 완전 연결(fully connected) 계층을 결합한 CNN-분류기(classifier)로 성능을 비교한다.
more초록/요약
Recently, a large amount of data in various forms is being generated in a big data environment, and deep learning neural networks research for analyzing data is actively being conducted. In order to analyze data and discover knowledge, pre-processing of data is as important as analysis phase and takes a lot of time. In addition, a variety of neural network structures are used to learn and predict unstructured data such as photos, videos, and voices for the type of data. Unstructured data is a nonlinear, high-dimensional form, and high complexity, and requires a lot of computing resources for analysis. In data mining, in order to improve the reliability of the analysis model and the efficiency of computation, the phase of optimizing the input data using the principal component analysis technique (PCA) is performed. Analysis and machine learning performance are affected by the level of pre-processed data. In the case of unstructured data such as photographs, the use of principal component analysis (PCA) techniques is limited due to nonlinearity and high complexity. The data transformation process can be performed with a stacked convolutional auto-encoder that learns patterns and reduces dimensions. Auto-encoder, a specialized type of deep learning neural network, learns important patterns of input data and performs learning to reconstruct a latent vector, which is reduced in dimensions, to the same as the input data. Based on the stacked convolution auto-encoder, in this paper propose a logistic regression modeling method that transform 23,705 monochrome photographs into latent variables and predicts human gender. In order to compose the stacked convolution auto-encoder hierarchy into several types, a hidden layer hierarchy and dimensions of a latent variable are gradually designed, and a model that predicts gender with the extracted latent variables. We compare the performance of the gender prediction model for each designed type and compare the performance with a CNN-classifier that combines two fully connected layers in an encoder network for each type.
more