Highway Network based Parameter Non-Sharing Recurrent Neural Networks for Fixed Length Sequence Modeling
고정 길이의 시퀀스 모델링을 위한 Highway Network 기반의 파라미터 비공유 순환신경망
- 주제(키워드) recurrent neural network , parameter non-sharing , highway network
- 발행기관 서강대학교 일반대학원
- 지도교수 김지환
- 발행년도 2019
- 학위수여년월 2019. 8
- 학위명 박사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000064349
- UCI I804:11029-000000064349
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
In this study, in order to solve the contradiction of the RNN in which time information is not considered to model time permutation, the PNS-RNN was proposed. The proposed model considers the history that corresponds to the time step of n from the time t to distinguish the vector sequence that corresponds to each time step t. During this process, the parameters for each time step are made different from each other, so that and the history information is derived depending on how far the information is from the time t. Because the PNS-RNN does not share parameters, it receives fixed-length inputs for the inputs to the network. The proposed model showed better performance than that of the conventional RNN under the condition where the parameter can be converged sufficiently in the fixed length sequence labeling task. In the case of using the same amount of parameters for PNS-RNN, PNS-LSTM and PNS-HNRNN in the permuted pixel-by-pixel MNIST task, they showed better classification performance than those of the existing models, RNN, LSTM, and HNRNN. Furthermore, it was applied to the speech recognition acoustic model, and it showed superior performance than that of the existing DNN and LSTM-based acoustic models. In the future, the parameter non-sharing recurrent neural network will be applied to the language model to evaluate the performance.
more초록/요약
Recurrent neural network (RNN) 는 시계열 데이터를 다루는데 용이한 모델이다. RNN은 시계열 데이터의 서로 다른 위치 (e.g. index of time or time steps) 마다 사용되는 파라미터를 공유함으로써, 임의의 길이를 가지는 입력 데이터에 대하여 모델링 하는 것을 가능케 한다. 최근 RNN 관련된 연구는 long-short term memory (LSTM) 등과 같이 입력 길이가 긴 시계열 데이터에 대하여 잘 모델링 하도록 하는 연구가 대부분이다. 그러나, 파라미터가 공유되는 경우 RNN의 출력 값이 항상 현재 시점을 기준으로 도출된다는 문제가 있다. 본 논문에서는 이러한 RNN의 한계를 해결하기 위해 고정된 길이의 시계열 데이터에 대하여 모델링하는 새로운 방식의 highway network based parameter non-sharing RNN (HN-PNS-RNN)을 제안한다. 제안된 모델에서는 RNN에서 각 시간 단계 마다 사용되는 파라미터가 공유되지 않고, 서로 다른 파라미터가 사용된다. 더 긴 구간의 고정 길이의 시계열 데이터에 대하여 모델링 하면서 파라미터 수의 급격한 증가를 방지하기 위해, RNN의 각 위치마다 highway network에서 사용되는 skip connection layer가 추가된다. 제안된 모델은 고정된 길이의 시계열 데이터로 이루어진 sequential MNIST task에서 LSTM 모델 대비 약 20%의 상대적 성능 향상을 보였다. 또한 음성 인식의 음향 모델에 제안된 모델을 적용할 경우 대표적인 코퍼스인 TIMIT과 LibriSpeech에서 기존 모델 대비 4% ~ 10% 의 상대적 성능 향상을 보였다.
more