검색 상세

계층적 누적 프롬프팅과 Self-Expertise 데이터 증강 방법을 활용한 법률 도메인 특화 언어 모델의 단계적 성능 개선 연구

Stepwise Performance Improvement of a Legal Domain-Specific Language Model Using Hierarchical Cumulative Prompting and Self-Expertise Data Augmentation Method

  • 정해인 (서강대학교 일반대학원)

초록 (요약문)

법률 분야의 언어 모델은 복잡한 법적 추론을 처리하는 데 있어 높은 정확성과 다양성을 요구하지만, 기존의 대규모 언어 모델은 이러한 요구를 충분히 충족하지 못하고 있다. 본 연구에서는 프롬프트 엔지니어링을 넘어 데이터 증강까지 포괄하는 단계적 성능 개선방법을 제안하여 소규모 데이터셋의 한계를 극복하고 법률 도메인 특화 언어 모델의 성능을 향상시키고자 한다. 먼저, 계층적 누적 프롬프팅 기법을 통해 대규모 언어 모델이 법률 전문가의 추론 과정을 따를 수 있도록 복잡한 법률 작업을 세분화하고 각 단계의 결과를 누적하여 다음 단계로 전달함으로써, 보다 투명하고 해석 가능한 법률 추론을 구현하였고 이를 통해 초기 성능을 평가한다. 이후, Self-Expertise 기법을 적용하여 법률 지시 학습 데이터를 증강함으로써 시드 데이터에서 새로운 지식을 추출하고 이를 사용해 다양한 법률 시나리오를 학습할 수 있는 지시 학습 데이터셋을 생성한다. 이를 통해 데이터 자동 생성 과정에서 발생할 수 있는 오류를 줄이고, 증강된 데이터를 활용하여 모델을 지시 학습시켜 모델의 추론 능력을 한층 강화하였다. 실험 결과, 제안된 단계적 접근 방식은 법률 추론 정확성과 모델의 대응 능력을 크게 향상시켰으며, 법률 도메인 특화 언어 모델이 보다 다양한 시나리오에서 높은 성능을 발휘하도록 하였다. 본 연구는 법률 도메인 특화 언어 모델 개발에서 프롬프트 엔지니어링과 데이터 증강이 활용될 때의 효과를 입증하며, 이를 통해 다른 지식 집약적 분야에도 적용 가능한 새로운 성능 개선 방법을 제시한다.

more

초록 (요약문)

Language models in the legal domain must handle complex legal reasoning with high accuracy and adaptability, but existing large language models often fall short. This study introduces a stepwise performance improvement method that extends beyond prompt engineering to include data augmentation, enhancing the capabilities of legal domain-specific language models. First, a hierarchical cumulative prompting method segments complex legal tasks into manageable steps, enabling more transparent and interpretable reasoning by accumulating results at each stage. Initial performance is evaluated using this method. Next, the Self-Expertise method augments legal instruction datasets by extracting new knowledge from seed data and generating diverse legal scenarios, mitigating hallucination and strengthening reasoning through instruction tuning with the augmented dataset. Experimental results show that this stepwise approach significantly improves accuracy and adaptability, enabling legal language models to perform e!ectively across diverse scenarios. This study highlights the combined impact of prompt engineering and data augmentation, proposing a novel improvement strategy for knowledge-intensive fields.

more

목차

Chapter 1. 서론 3
1.1 법률 도메인 특화 언어 모델 연구의 필요성 3
1.2 전문지식 분야 지시 학습 데이터 증강의 필요성 4
1.3 연구의 기여점 5
1.4 연구의 개요 7
Chapter 2. 관련 연구 9
2.1 대규모 언어 모델의 프롬프트 엔지니어링 기법 9
2.1.1 Chain-of-Thought 기반 프롬프트 엔지니어링 방법론 9
2.1.2 법률 추론 작업 관련 프롬프트 엔지니어링 방법론 11
2.2 대규모 언어 모델을 활용한 지시 데이터 증강 방법론 12
2.3 법률 분야에서의 언어 모델 개발 13
Chapter 3. 법률 도메인 특화 언어 모델의 단계적 성능 최적화 방법 15
3.1 계층적 누적 프롬프팅 15
3.1.1 변호사의 사고 과정, 리걸 마인드 16
3.1.2 계층적 누적 프롬프팅 구조 17
3.1.3 계층적 누적 프롬프팅의 한계 20
3.2 Self-Expertise를 통한 법률 지시 학습 데이터 증강 22
3.2.1 지시 학습 데이터 구조 22
3.2.2 Self-Expertise 증강 프롬프팅 23
3.3 증강한 데이터셋을 활용한 소형 대규모 언어 모델 학습 27
Chapter 4. 실험 결과 29
4.1 계층적 누적 프롬프팅 실험 29
4.1.1 실험 환경 29
4.1.2 실험 결과 33
4.2 지시 학습 데이터 증강 및 지시 학습 실험 37
4.2.1 실험 환경 37
4.2.2 실험 결과 42
4.3 계층적 누적 프롬프팅과 지시 학습의 실험 결과 비교분석 50
Chapter 5. 결론 53
Bibliography 55

more
반출 Meta View 목록