인공지능 UAV 통신을 위한 디지털트윈 기반 DDPG 강화학습 적용 방안
Digital Twin Based DDPG Reinforcement Learning for AI-UAV Communications
- 발행기관 서강대학교 일반대학원
- 지도교수 성원진
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000077127
- UCI I804:11029-000000077127
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
무인비행체 (Unmanned Aerial Vehicle; UAV) 는 6G 통신 시스템에서 주목받고 있는 중요한 요소 중 하나이다. 특히 UAV를 이동형 항공 기지국 (Aerial Base Station; ABS)으로 활용하는 경우 이동성으로 인해 전파 경로 및 통신 환경이 시간 에 따라 변하는 등의 특성이 있으며, 따라서 무인 비행체의 위치가 변함에 따라 정확 한 채널 추정을 수행하는 통신 시스템 구축이 필요하다. 본 논문에서는 실제 통신 환경을 디지털트윈으로 구축하고, 이를 기반으로 광선 추적을 수행하여 정확도 높은 채널을 추정하여 제안하는 강화학습 알고리즘의 성능 을 평가한다. 알고리즘은 광선 추적 채널을 통해 해당 지역의 건물 및 지형 정보 등 구체적인 통신 환경을 반영하여 무인 비행체의 최적화를 수행한다. 이때 deep deterministic policy gradient (DDPG)를 활용하여 디지털트윈 내 통신환경에서 무 인비행체와 사용자 간 전반적인 통신 성능을 계산하고 무인 비행체의 최적의 위치를 결정한다. 성능 평가 결과는 제안한 알고리즘이 무인비행체 궤적 학습 능력과 통신 성능의 향상 및 유지를 가능하게 함을 보이며, 지상 기지국과 비교하였을 때 음영 지 역의 감소와 같은 이점이 있음을 보인다.
more초록
An unmanned aerial vehicle (UAV) could become one of the essential components in 6G communication systems. Designing wireless systems including UAVs as aerial base stations (ABSs) is a challenging task, due to the mobility of ABSs causing time-varying nature of environmental surroundings and relative propagation paths to user equipment (UE) devices. Therefore, it is essential to have an accurate estimate of the channel for varying positioning of the UAVs. In this thesis, we propose to adopt a digital twin based performance evaluation procedure for wireless systems including ABSs, providing enhanced accuracy of channel modeling for specific target deployment areas. Using ray-tracing channel models reflecting detailed building and terrain information of the transmission environment, an UAV position optimization algorithm based on reinforcement learning is presented. By utilizing deep deterministic policy gradient (DDPG), the proposed algorithm calculates the overall throughput in the digital twin and determines the desired states of the UAV. Performance evaluation results demonstrate the trajectory training ability of the algorithm and the performance advantage of the system with a reduced amount of shadow area compared to those with ground base stations (GBSs).
more목차
Abstract v
요 약 문 vi
제 1 장 서 론 1
제 2 장 디지털트윈 기반 UAV 통신 시스템 7
2.1 개 요 7
2.2 신호 및 시스템 모델 7
2.3 디지털트윈 구축 방안 8
2.3.1 오픈소스 소프트웨어 8
2.3.2 디지털트윈 3D 모델링 9
2.3.3 디지털트윈 통신 사용자 모델링 10
2.4 광선 추적 기반 채널 추정 15
2.4.1 오픈소스 소프트웨어 15
2.4.2 디지털트윈 기반 광선 추적 15
제 3 장 UAV 위치 최적화를 위한 DDPG 활용 방안 18
3.1 개 요 18
3.2 DDPG 모델 구조 및 업데이트 방식 18
3.3 DDPG 핵심 구성 요소 20
3.4 UAV 위치 학습 DDPG 알고리즘 22
제 4 장 성능 평가 25
4.1 디지털트윈 설정 25
4.2 DDPG 변수 설정 27
4.3 성능 평가 결과 30
제 5 장 결 론 36
참 고 문 헌 37
