이미지 기반 심층 강화학습을 이용한 자율 이동 로봇의 장애물 회피 구현
An image-based sim-to-real implementation for avoiding obstacles and restricted areas
- 주제어 (키워드) 심층 강화학습 , 자율 이동 로봇 , 장애물 회피 , Deep reinforcement learning , autonomous mobile robot , obstacle avoidance
- 발행기관 서강대학교 일반대학원
- 지도교수 김경환
- 발행년도 2022
- 학위수여년월 2022. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000066581
- UCI I804:11029-000000066581
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
자율 이동 로봇을 활용하는 연구 분야에선, 시뮬레이션 환경에서 학습한 모델을 실제 환경에도 구동하는 sim-to-real 연구가 활발히 이루어지고 있다. 대부분의 관련 연구들은 장애물을 회피하는 경로를 계획하기 위해 거리 기반 센서를 이용한 심층 강화학습 방법을 사용한다. 시각 정보는 유용한 주행 정보를 포함하고 있지만, 강화학습에서 이러한 시각 정보를 활용하려면 시뮬레이션 환경을 실제 환경과 유사하게 구성해야 한다. 하지만 기술적 한계로 RGB 이미지를 사용할 수 있을 만큼 실제와 유사하게 구성하는 데에는 어려움이 있었다. 본 논문에선 RGBD-SLAM을 이용하여 실제와 유사한 시뮬레이션 환경을 구성하여 문제를 해결한다. 또한 자율 이동 로봇에 비전 시스템을 추가함으로써 더 나은 경로 계획을 수립하는 것을 확인한다. 이를 위해 구성한 시뮬레이션 환경에서 박스 및 금지구역 회피를 위한 동작 환경을 정의하고 raw RGB 이미지를 사용한 심층 강화학습 모델을 제안한다. 또한 실제 환경에 강건한 sim-to-real 동작을 위해 학습에 무작위성을 추가하는 domain randomization 기법을 제안한다. 최종적으로 절제 연구(ablation study)를 통해 장애물 회피에서 시각 정보의 유효성을 확인한다. 그리고 제안한 방법을 강화학습에 적용함으로써 시뮬레이션 및 실제 환경에서 장애물 회피를 성공적으로 수행함을 확인한다.
more초록 (요약문)
In the field of autonomous mobile robots(AMR) research, earlier sim-to-real studies have been actively conducted to bridge the gap between the simulated and real worlds which degrades the performance. Deep reinforcement learning with distance-based sensors is widely accepted to plan the paths to avoid obstacles. Even though RGB images carry much visual information, bridging the visual gap between the real world and the simulated environment has been regarded as a great concern that should be dealt with. In this thesis, focused on this part, we configure the realistic simulated environment using RGBD-SLAM and show that AMR performs better in various settings by adding a vision system. We define boxes and restricted areas avoidance environments and propose a deep reinforcement learning method using raw RGB images. Furthermore, the domain randomization technique is applied that adds randomness to training for robust sim-to-real transfer. Experimental results show the validity of visual information in obstacle avoidance via ablation study. In addition, it is verified that the proposed method successfully performs obstacle avoidance in both simulation and real environments.
more