언어 모델의 효율적 학습을 위한 프롬프트 기반 학습 및 P-Tuning에 관한 연구
A Study on Prompt-Based Learning and P-Tuning for Efficient Learning of Language Models
- 주제어 (키워드) P-Tuning , Prompt Based Learning
- 발행기관 서강대학교 정보통신대학원
- 지도교수 구명완
- 발행년도 2023
- 학위수여년월 2023. 8
- 학위명 석사
- 학과 및 전공 정보통신대학원 데이터사이언스 · 인공지능
- 실제 URI http://www.dcollection.net/handler/sogang/000000076426
- UCI I804:11029-000000076426
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
In recent years, various language models have been developed in the field of natural language processing. In particular, transformer-based language models such as BERT, GPT-3, RoBERTa, and ALBERT have received much attention. These language models can understand sentences and contexts by learning large amounts of text data, and have shown high performance in various applications of natural language processing. However, the fine-tuning method, which is widely used in language model learning in a specific domain, has a problem of requiring a large amount of data. In reality, in most domains, it is difficult to obtain enough labeled data, limiting the fine-tuning process, which sometimes lowers the generalization ability of the model. In this study, the application of prompt-based learning and P-Tuning methods to improve the performance of language models was investigated. Prompt-based learning and P-Tuning were applied to English and Korean language models and the performance improvement was evaluated. The experimental results showed that prompt-based learning and P-Tuning improved performance on the English Albert model and the Korean RoBERTa model. These results suggest that prompt-based learning and P-tuning methods can be used as an alternative to fine-tuning for learning language models for specific domains. This is expected to improve the efficiency and performance of language model training.
more초록 (요약문)
최근 몇 년 동안, 자연어 처리 분야에서는 다양한 언어 모델이 개발되어 왔다. 특히, BERT, GPT-3, RoBERTa, ALBERT 등의 transformer 기반 언어 모델이 많은 주목을 받았다. 이러한 언어 모델은 대용량의 텍스트 데이터를 학습함으로써 문장이나 문맥을 이해하고, 자연어 처리의 다양한 응용 분야에서 높은 성능을 보여주고 있다. 그러나 특정 도메인의 언어 모델 학습에서 널리 사용되는 fine-tuning 방법은 대량의 데이터가 필요한 문제를 가지고 있다. 현실적으로 대부분의 도메인에서는 충분한 양의 레이블이 있는 데이터를 얻기 어려워 fine-tuning 과정이 제한적이며, 이로 인해 모델의 일반화 능력이 저하되기도 한다. 본 연구에서는 언어 모델의 성능 향상을 위한 프롬프트 기반 학습 및 P-Tuning 방법의 적용을 조사하였다. 영어와 한국어 언어 모델에 프롬프트 기반 학습 및 P-Tuning을 적용하고 성능 향상을 평가하였다. 실험 결과, 영어 Albert 모델과 한국어 RoBERTa 모델에서 프롬프트 기반 학습 및 P-Tuning을 적용한 경우 성능 향상이 확인되었다. 이러한 결과는 프롬프트 기반 학습 및 P-Tuning 방법이 특정 도메인용 언어 모델 학습에 대한 fine-tuning의 대안으로 활용될 수 있음을 시사한다. 이를 통해 언어 모델 학습의 효율성과 성능을 향상시키는 것이 기대된다.
more