경량화 사전학습(Pre-trained)모델을 이용한 성능 개선 방안 및 응용분야에 대한 연구
Research on performance improvement methods and application fields using lightweight pre-trained models
- 주제어 (키워드) 경량화 알고리즘 , 사전학습 모델 , Quantization , Electra
- 발행기관 서강대학교 정보통신대학원
- 지도교수 강석주
- 발행년도 2023
- 학위수여년월 2023. 8
- 학위명 석사
- 학과 및 전공 정보통신대학원 데이터사이언스 · 인공지능
- 실제 URI http://www.dcollection.net/handler/sogang/000000076475
- UCI I804:11029-000000076475
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
Currently, in the field of artificial intelligence, technology that solves complex tasks according to user queries LLM (Large Language Model)-based deep learning. However, it is difficult to introduce such a huge deep learning model in an environment where computing resources are limited, as the size of the model relative to the parameters of the model is large and the expansion speed is also rapidly increasing. In this paper, we created a classifier for artificial intelligence ethics verification by applying a lightweight algorithm to a deep learning model pre-trained from a large-capacity corpus. As a lightweight algorithm, quantization technique is applied to analyze whether the performance part for inference time is improved while preserving the performance of the prediction accuracy of the original model It was confirmed that the existing pre-trained model maintains the existing accuracy even in a situation where the number of parameters is much smaller than that of the existing model, and the inference time for the same text sentence can be significantly shortened compared to the existing model. It was possible to confirm the possibility of deriving near-real-time level prediction results computing-constrained environments such as mobile industry, robot control, and autonomous driving systems.
more초록 (요약문)
현재 인공지능 분야는 대용량의 파라미터를 보유한 LLM(Large Language Model) 기반의 딥러닝을 통해서 사용자 질의에 따른 복잡한 태스크를 해결 하거나 다양한 컨텐츠를 제공하는 기술이 주목받고 있다. 하지만 이런 거대한 딥러닝 모델은 모델의 파라미터 대비 모델 크기가 커짐과 동시에 확장 속도 또한 급격하게 커짐에 따라 컴퓨팅 자원 제약적인 환경에서 도입 및 사용하는데에는 어려움이 있다. 본 논문에서는 대용량 말뭉치를 사전학습(Pre-Trained)한 딥러닝 모델에 경량화 알고리즘을 적용하여 인공지능 윤리 검증을 하는 분류기를 생성하였다. 경량화 알고리즘으로는 양자화(Quantization) 기법을 적용하여서 기존의 원본(Original) 모델보다 경량화된 모델의 크기로 원본 모델의 예측 정확도의 성능을 보존하면서 추론 시간에 대한 성능 부분이 개선되었는지 여부를 분석하고자 한다. 실험을 통해 기존의 사전학습 모델이 기존의 파라미터 수보다 훨씬 적은 상황에서도 기존의 정확도를 유지하는 결과를 확인할 수 있었고 동일한 텍스트 문장에 대한 추론 시간도 기존 모델에 비해 훨씬 더 단축할 수 있는 결과를 얻었기에 향후, 모바일 산업, 로봇제어, 자율 주행 시스템과 같은 Time-critical 하면서 컴퓨팅 제약적인 환경에서도 거의 실시간 수준의 예측결과를 도출할 수 있는 가능성을 확인할 수 있었다.
more