Reinforcement Learning-based Joint User Pairing and Power Allocation in MIMO-NOMA Systems
- 주제(키워드) MIMO , NOMA , Reinforcement learning , User pairning , Power allocation
- 발행기관 서강대학교 일반대학원
- 지도교수 소재우
- 발행년도 2021
- 학위수여년월 2021. 8
- 학위명 박사
- 학과 및 전공 일반대학원 전자공학과
- UCI I804:11029-000000066099
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
In the fifth-generation (5G) wireless communication, the non-orthogonal multiple access (NOMA) technique has been studied a lot as a technology to enhance spectral efficiency. NOMA can enhance spectral efficiency while allocating power at the same frequency and time. Multiple-input multiple-output (MIMO) is another technique that can increase spectral efficiency. Recent research on MIMO-NOMA has increased the spectral efficiency further. In particular, in a NOMA scheme, user pairing and power allocation are essential techniques, but it greatly increases the computational complexity. Therefore, this dissertation proposed a user pairing and power allocation scheme that applies reinforcement learning (RL) for the MIMO-NOMA in 5G wireless communication to reduce the computational complexity and increase the data rate. First, we propose joint user pairing and power allocation by applying RL in an environment without interference. After designing a system model and formulating the sum rate of the MIMO-NOMA users, we proposed a structure for the application to RL. Among the RL elements, the state is defined as the quantized channel between the base station (BS) and the cell user (CU). The action of RL is defined as determining user pairing and power allocation. An appropriate quantization level is proposed to compromise the complexity and accuracy, and we evaluated the sum rate as the number of CUs increases. The simulation results show that the performance of the proposed RL-based scheme is similar to that of the exhaustive search (ES)-based scheme. Next, we propose an RL-based joint user pairing and power allocation scheme for device-to-device MIMO communications underlaying a cellular network. We formulate the sum rate of users by considering both the cellular and D2D users simultaneously and propose an RL-based structure. The simulation results show that the sum rate of the proposed scheme converges to that of the ES-based scheme. Moreover, the proposed scheme outperforms other schemes. As a result, the RL-based resource allocation can be applied to 5G wireless communication systems.
more초록/요약
5세대 이동통신에서 주파수 효율을 높이기 위한 기술로 비직교 다중 접속 기법이 많이 연구되고 있다. 비직교 다중 접속 기법은 같은 주파수와 시간에서 전력을 다르게 할당하면서 주파수 효율을 높이는 기술이다. 다중입력 다중출력은 주파수 효율을 높이는 또 다른 기술로, 최근에는 다중입력 다중출력 - 비직교 다중접속에 대한 연구가 활발히 이루어 지면서 주파수 효율을 더 높일 수 있게 되었다. 특히, 비직교 다중접속 기법에서 사용자들의 쌍 결정과 전송 전력의 할당은 중요한 기술이다. 그러나 비직교 다중접속 기법은 주파수 효율을 높일 수 있지만 사용자들의 쌍과 전송 전력 결정이 복잡하다는 단점이 있다. 따라서 본 논문은 5세대 이동통신에서 다중입력 다중출력 - 비직교 다중 접속 기술에 강화학습을 적용한 사용자 쌍 선택과 전력 할당 기법을 제안하여 계산 복잡도를 감소시키고 데이터 전송률을 증가시킨다. 먼저, 간섭이 없는 환경에서 강화학습을 적용하여 사용자 쌍 선택과 전력할당을 동시에 수행하는 기법을 제안한다. 시스템 모델과 다중출력-비직교 다중접속 단말의 데이터 전송률을 수식으로 표현한 다음, 강화학습에 적용하기 위한 구조를 제안하였다. 강화학습 요소 중 상태는 기지국과 단말 사이의 채널을 양자화하여 적용했다. 강화학습의 동작으로 사용자 쌍 선택과 전력할당을 결정하도록 강화학습의 구조를 디자인했다. 복잡도와 정확도를 최적화하기 위해, 적절한 양자화 레벨을 제안하였으며, 단말의 수가 증가함에 따른 데이터 전송률의 변화를 살펴보았다. 시뮬레이션 결과, 전수 조사 결과와 강화학습의 결과가 비슷한 데이터 전송률을 보이는 것을 확인했다. 그리고, D2D통신 단말과 셀룰러 기지국으로부터 서비스를 받는 단말이 공존하는 환경에서 강화학습을 적용한 동시 사용자 쌍 선택과 전력할당 기법을 제안한다. D2D 통신이 존재하는 환경에서 다중입력 다중출력-비직교 다중접속 단말의 데이터 전송률을 수식화 한다음, 강화학습을 위한 구조를 제안했다. 특히, 강화학습을 적용하면서 사용자 쌍 선택과 전력할당을 한 번에 수행할수 있게 되어 계산의 복잡도를 감소시켰다. 시뮬레이션 결과는 전수 조사 결과와 비슷한 수율로 수렴하는 것을 보였으며, 다른 기법들 보다 더 높은 데이터 전송률을 보였다. 결과적으로, 강화학습 기반의 머신러닝 기법이 5G 이동통신 환경에서도 적용될 수 있음을 확인했다.
more