강화학습을 이용한 무인 자율주행 차량의 지역경로 생성 기법
Local Path Generation Technique for Unmanned Autonomous Vehicles using Reinforcement Learning
- 주제(키워드) 도움말 강화학습 , 무인차 , 지역경로
- 발행기관 서강대학교 일반대학원
- 지도교수 양지훈
- 발행년도 2013
- 학위수여년월 2013. 8
- 학위명 석사
- 학과 및 전공 도움말 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000052579
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록/요약 도움말
무인 자율주행 차량에서의 경로 생성 기법은 차량이 자동적으로 안전하고 효율적인 경로를 생성하고 주행 할 수 있도록 해준다. 하지만 경로의 생성이 올바르지 않으면 차량은 효율적인 주행을 하지 못하고 큰 사고로 번질 우려도 있다. 경로에는 크게 전역 경로와 지역 경로가 있다. 전역경로는 차량이 출발점으로부터 도착점까지 가기위해 주행해야하는 구간을, 지역경로는 전역경로에서 얻은 구간들을 주행하기 위해서 차량이 실제로 주행해야할 경로를 의미한다. 이러한 지역 경로를 생성하기 위해서 과거에는 이미지나 곡률 반경 등에 의한 제어를 하였다. 하지만 이러한 방법들은 센서의 오차 때문에 효율적인 경로를 생성 하는데 어려움이 있었다. 본 논문에서는 지역경로의 생성을 위하여 효율성이 높은 곡선 함수를 사용하는 기존연구에서 더 나아가 학습을 통해 경로를 생성하는 방법을 제안한다. 강화학습을 통해서 후보경로에 대한 예측 보상 값을 얻고 보상 값이 최고가 되는 경로를 찾는 작업을 한다. 또한 인공 신경망을 통해서는 생성된 경로에 최적화된 조향 명령을 주기위해 조향 각을 학습하는 작업을 한다. 더 나아가 주행하는 경로에 장애물이 발견되더라도 이를 효율적으로 회피 하는 최적의 경로를 학습 기법을 통해 만들어낸다. 본 논문에서 제안된 알고리즘의 우수성은 실제 주행 환경에서의 실험을 통해 검증되었다.
more초록/요약 도움말
Path generation methods are required for safe and efficient driving in unmanned autonomous vehicles. An incorrectly generated path causes inefficient and unsafe driving, which might lead to a serious accident. There are two kinds of paths: global and local. A global path consists of all the way points including the source and the destination. A local path is the trajectory that a vehicle needs to follow from a way point to the next in the global path. Image or curvature radius-based approaches have been proposed for local path generation. However, such methods have difficulty in the generation of efficient paths due to the sensor errors. In this thesis, we propose a novel method for local path generation through machine learning, with an effective curve function used for initializing the trajectory. First, reinforcement learning is applied to a set of candidate paths to produce the best trajectory with the maximal reward. Then the optimal steering angle with respect to the trajectory is determined by training an artificial neural network. Our method outperformed existing approaches and successfully found quality paths in various experimental settings, including the cases with obstacles.
more