머신러닝 기반 QUIC 프로토콜 공격 탐지 기법
Machine Learning-based Detection of Attacks on the QUIC Protocol
- 주제(키워드) QUIC , 암호화 트래픽 분류 , 이상탐지 , DDoS 공격 탐지; HTTP/3
- 발행기관 서강대학교 AI.SW대학원
- 지도교수 소재우
- 발행년도 2026
- 학위수여년월 2026. 8
- 학위명 석사
- 학과 및 전공 AI.SW대학원 정보보호
- 세부분야 해당없음
- 실제URI http://www.dcollection.net/handler/sogang/000000082972
- UCI I804:11029-000000082972
- 본문언어 한국어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
QUIC(Quick UDP Internet Connections) 프로토콜은 TLS 1.3을 프로토콜 내부에 통 합하여 페이로드와 헤더 대부분을 암호화한다. 이로 인해 DPI 기반 시그니처 탐지에 의존해 온 기존 침입탐지시스템(IDS)이 활용할 수 있는 평문 신호가 급격히 축소되어 암호화된 트래픽에 대한 가시성 문제가 발생한다. 본 연구는 QUIC 환경에서 패킷 크기, 방향, 시간 간격, 패킷 유형 비율과 같은 메 타데이터만으로 DDoS 공격을 탐지할 수 있는지 분석하였다. 이를 위해 세 가지 실험 을 수행하였다. 첫째, 전체 메타데이터로 이진 분류와 다중 분류 성능을 평가하였다. 둘째, 각 플로우의 초기 K개 패킷만으로 조기 탐지가 안정화되는 시점과 공격 유형별 차이를 분석하였다. 셋째, 정상 트래픽만으로 학습한 Autoencoder 기반 비지도 이상 탐지를 적용하여 라벨이 없는 환경에서의 유형별 성능 격차를 측정하였다. 실험 결과, Random Forest는 이진 분류 F1 0.998, 다중 분류 0.982를 기록하여 메 타데이터만으로 정상과 공격을 안정적으로 구분할 수 있음을 확인하였다. 초기 패킷 실험에서는 이진 분류가 K = 5, 다중 분류가 K = 10 시점에서 안정화되었고, QUIC Connect는 연결 수립 단계에서 즉시 식별되었으나 Scan과 GET Flood는 1-RTT 단계 진 입 이후 추가 정보 누적이 필요하였다. 비지도 탐지에서는 ROC-AUC가 0.976으로 높았 으나, 오탐률 1% 기준 정탐률이 QUIC Connect 0.591, Scan 0.271, GET Flood 0.243으로 큰 격차를 보였다. k-NN 거리 분석 결과 Scan과 GET Flood 표본의 절반 이상이 정상 트래픽의 일반적인 분포 범위 안에 들어와 있었다. 본 연구는 QUIC 메타데이터만으로 DDoS 탐지가 가능함을 보이는 동시에, 공격 유형 별 탐지 가능 시점과 정상 분포와의 중첩 정도가 다르게 나타남을 정량적으로 제시하 였다는 점에서 의의가 있다.
more목차
제1장 서론 12
1.1 연구 배경 및 목적 12
1.2 논문 구성 13
제2장 이론적 배경 14
2.1 QUIC 프로토콜 개요 14
2.2 QUIC 패킷 구조와 가시성 문제 16
제3장 관련 연구 20
3.1 QUIC 트래픽 분류 관련 연구 20
3.2 본 연구의 차별성 21
제4장 연구설계 및 방법론 23
4.1 실험 환경 23
4.2 데이터셋 출처 23
4.3 데이터셋 전처리 24
4.4 데이터셋 구성 26
4.5 데이터셋 시나리오별 패킷 캡처 27
4.6 모델 설계 32
4.7 평가 지표 34
제5장 실험 및 결과 37
5.1 실험 1: 공격 탐지 및 분류 성능 평가 37
5.2 실험 2: 초기 패킷 기반 공격 탐지 성능 평가 40
5.3 실험 3: 정상 트래픽 기반 비지도 이상 탐지 성능 평가 47
제6장 결론 52
6.1 연구 요약 52
6.2 한계점 및 향후 연구 53
참고문헌 55

