한국 정관 자동 검토를 위한 검색기 기반 대규모 언어모델 시스템
Retrieval-based Language Model Methodology for Articles of Incorporation Automatic Review
- 주제어 (키워드) 프롬프트 엔지니어링 , 법률 인공지능 , 검색기 기반 대규머 언어모델 시스템; Prompt Engineering , Legal Ai , Retrieval-Based LLM
- 발행기관 서강대학교 일반대학원
- 지도교수 구명완
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과
- 실제URI http://www.dcollection.net/handler/sogang/000000076811
- UCI I804:11029-000000076811
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
대규모 언어 모델이 등장하면서 다양한 작업에서 좋은 성능을 보여주고 있다. 그러나 법률 분야와 같이 전문적이고 복잡한 논리적 추론이 필요한 작업에서는 생성 시 논리적 오류를 보이는 환각 현상과 같은 한계가 있다. 따라서 본 논문에서는 법률 전문 가가 법률 문제를 해결하는 방식인 리걸마인드에 기반한 리걸마인드 프롬프트 방식과 검색기가 결합된 대규모 언어 모델 시스템을 통해 법률 분야의 정확도를 향상시키는 방법론을 제안하고, 이를 한글 정관 자동 검토 작업에 적용한다. 특히 검색기 기반 대규모 언어모델 시스템을 구축하기 위해 대규모 한국어 법률 말뭉치를 수집 및 정제하고 검색기를 학습시켜 성능을 향상을 보였다. 이를 통해 한 국어 법률 분야에 특화된 vocab과 토크나이저를 활용하여 검색기 기반 언어모델을 구축하였으며, 단순 임베딩 검색 방식 대비 10% 향상된 Recall@7을 보였다. 또한 법률 전문가들의 답변 평가 결과에서도 한국어 법률 전문 검색기를 적용한 언어 모델 시스템이 가장 우수한 성능을 보였다. 한편, 대량의 한국어 법률 말뭉치로 학습된 검색기 모델은 또 다른 법률 과제인 판례 사건 분류 과제에서도 우수한 성능을 보였으며, 한국어 법률 어휘와 문맥 이해도가 높은 것으로 분석되었다. 이번 연구를 통해 법률 분야 뿐만 아니라 다양한 전문 분야에 적용할 수 있는 최적 화된 대규모 언어 모델 시스템을 제안하고, 전문가 수준의 답변 생성이 가능한 연구의 토대를 마련할 수 있을 것으로 기대한다.
more초록
As large-scale language models have emerged, they have shown good performance in various tasks. However, in tasks that require specialized and complex logical reasoning, such as the legal field, they have limitations such as the hallucination phenomenon, which shows logical errors in generation. Therefore, this paper proposes a methodology to improve accuracy in the legal field through a chain-of-legalmind prompting method that captures the regalmind process, which is the way legal experts solve legal problems, and a searcher-based large-scale language model system, and applies it to the automatic review task of Korean articles of incorporation. In particular, to build a searcher-based large-scale language model system, we collected and refined a large-scale Korean legal corpus and trained a searcher to improve its performance. Through this, we built a searcher-based language model by utilizing a language dictionary and a talker specialized in the Korean legal field, which showed a 10\% improvement in Recall@7 compared to a simple embedding search method. In addition, the language model system with a Korean legal-specific searcher showed the best performance in the evaluation results of legal experts' answers. Meanwhile, the retriever model trained with a large amount of Korean legal corpus also performed well in another legal task, matching case categories, and was analyzed to have high Korean legal vocabulary and contextual comprehension. Through this study, we propose an optimized large-scale language model system that can be applied not only to the legal field but also to various professional fields, and we expect to lay the foundation for research that enables expert-level answer generation.
more목차
Chapter 1. 서론 4
1.1 한국 법률 분야 검색기 기반 대규모 언어 모델의 필요성 4
1.2 기존 방법론의 한계점 5
1.3 기여점 6
Chapter 2. 관련 연구 8
2.1 복잡한 논리 과정 적용을 위한 LLM 프롬프팅 방법론 8
2.2 법률 분야의 XAI 적용 11
2.2.1 지역별 법 문화 차이 12
2.2.2 법 분야 적용의 어려움 13
2.3 Retrieval based LLM 13
Chapter 3. 한국 정관 자동 검토를 위한 검색기 기반 대규모 언어모델 시스템 17
3.1 법률전문가의사고과정기반 Chain-of-legalmind프롬프팅방법론 17
3.1.1 리걸 마인드 18
3.1.2 한국 정관 자동 검토에서의 리걸 마인드 적용 18
3.1.3 리걸마인드를 반영한 Chain-of-legalmind 프롬프팅 방법론 21
3.2 한국어 법률 특화 검색기 기반 대규모 언어모델 시스템 22
3.2.1 검색기 학습을 위한 데이터셋 구축 23
3.2.2 한국어 법률 코퍼스 기반 Tokenizer 학습 26
3.2.3 검색기 학습 방법론 28
Chapter 4. 실험 결과 31
4.1 실험 환경 31
4.2 평가 방식 및 평가 지표 32
4.3 한국 정관 자동 검토 데이터셋 32
4.3.1 정관 기계 독해 학습 데이터셋 33
4.3.2 검색기 상법 추출 학습용 데이터 33
4.3.3 정관 자동 검토 조언 생성 데이터 33
4.4 실험 결과 34
4.4.1 정관 기계 독해 성능 비교 34
4.4.2 검색기 성능(상법 추출) 비교 34
4.4.3 검색기 기반 대규모 언어모델의 변호사 조언 생성 성능 비교 35
4.5 한국 법률 Task의 적용 38
4.5.1 사건 이름 분류 Task의 적용 38
4.5.2 한국어 법률 코퍼스로 부터 학습된 Tokenizer 실험 39
Chapter 5. 결론 44
