술어별 가중치를 이용한 한국어 의미역 결정
Korean Semantic Role Labeling using Specific Weight for Predicate
- 주제(키워드) 심층 학습 , 자연어처리 , 의미역 결정 , 술어별 가중치 , ELMo , Deep learning , Natural Language Processing , Sematic Role Labeling , Predicate Specific Weight , ELMo
- 발행기관 서강대학교 일반대학원
- 지도교수 서정연
- 발행년도 2019
- 학위수여년월 2019. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000064307
- UCI I804:11029-000000064307
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
의미역 결정은 자연어 이해 중 한 분야로써, 문장의 술어를 찾고 그 술어와 연관된 논항들의 의미 관계를 파악하는 작업이다. 의미역 결정 결과는 자연어처리 전 분야의 자질로 사용될 수 있다. 기존 통계 기반 연구에서는 hand-craft된 언어적 자질이 주로 연구되었지만, 심층 학습 기반 모델은 이를 데이터로부터 스스로 학습한다는 장점이 있다. 기존 심층 학습 기반의 한국어 의미역 결정 연구에서는 Bi-LSTM-CRFs(Bidirectional Long Short Term Memory Conditional Random Fields)가 일반적으로 사용되었다. 현재까지의 입력 정보들을 고려하여 현재 입력에 대한 의미역 태그를 출력해야 하는 구조이기 때문에 시계열 데이터 처리에서 우수한 성능을 보이는 RNNs(Recurrent Neural Networks) 구조를 적용한 모델이다. 또한 인접 의미역 태그 간 관계를 모델링하기 위해 마지막 출력 계층에 CRFs를 적용했다는 특징이 있다. 하지만 이와 같은 Bi-LSTM-CRFs 구조에서는 술어 정보를 단어 임베딩(Embedding)으로 밖에 표현할 수 없기 때문에 술어와 의미역 태그 사이의 복잡한 관계를 모델링하기 힘들다는 한계점이 존재한다. 따라서 본 논문에서는 술어와 의미역 태그 사이의 관계를 모델링하기 위해 입력 술어에 따라 동적인 값을 갖는 학습 가중치 방법을 적용했다. 또한 문맥 표현을 담고 있는 한국어 ELMo(Embedding From Language Model) 임베딩을 대용량 데이터로부터 학습하여 입력에 추가하였다. 결과적으로 본 논문의 제안 모델은 기존의 Bi-LSTM-CRFs 모델에 비해 1.42 향상된 F1 성능을 실험을 통해 얻을 수 있었다.
more초록/요약
SRL(Semantic Role Labeling) is the task of NLU(Natural Language Understanding) that extracts predicates in the sentence and then figure out semantic relations of the arguments. Result of SRL can be used as the features in the various task of NLP. In the previous statistical-based studies, hand-crafted linguistic features were mainly considered, and in the deep learning-based models have the advantage of self-learning the linguistic features from the training data. Bi-LSTM-CRFs(Bidirectional Long Short Term Memory Conditional Random Fields) are often used in deep learning-based Korean SRL studies. Since the SRL needs to output a semantic role tag for the current input word considering all the input information so far, Bi-LSTM-CRFs based on RNNs(Recurrent Neural Networks) Also, CRFs are applied to the last output layer to model the relationship between adjacent semantic role tags. However, since the Bi-LSTM-CRFs structure can represent predicate information only by word embedding, modeling of the complex relationship between the predicate word and the semantic role tag is limited. Therefore, in this paper, to model the relationship between the predicate word and the semantic role tags, dynamic weight parameter method according to input predicate was applied. We also apply the Korean ELMo(Embedding From Language Model) embedding, which represents contextual information. The Korean ELMo embedding trained from large news corpus. As a result, the proposed model in this paper got F1 accuracy improved by 1.42 compared with the Bi-LSTM-CRFs baseline model.
more