KLT 추적기의 특징점 추출과 관리 기능의 하드웨어 구현
Feature extraction and management of KLT tracker and its hardware implementation
- 주제(키워드) KLT tracker , Feature point management , Feature extraction , FPGA
- 발행기관 서강대학교 일반대학원
- 지도교수 김경환
- 발행년도 2009
- 학위수여년월 2009. 2
- 학위명 석사
- 실제URI http://www.dcollection.net/handler/sogang/000000044910
- 본문언어 한국어
초록/요약
본 논문에서는 KLT(Kanade-Lucas-Tomasi) 추적기를 위한 FPGA(Field Programmable Gate Arrays) 기반의 특징점 추출 및 관리를 위한 구조를 제안한다. KLT 추적기에 의한 특징점 추적 과정 중에는 조명 조건, 물체 또는 카메라의 급격한 움직임, 가려짐 등의 현상에 의해 특징점의 소실이 발생한다. 환경에 대한 충분한 정보 취득을 위해서는 소실되는 특징점을 대신할 특징점을 재추출하는 과정이 필요하다. 실외 환경을 포함한 다양한 조명 조건에서 특징점의 분포가 매 프레임 일정할 수 있도록 밝기값에 대하여 정규화 하는 과정을 추가하여 특징점을 추출한다. 제안하는 특징점 추출 과정은 LUT(look-up table)의 형태로 구현되어 추가적으로 요구되는 FPGA의 자원 사용 및 연산량이 크지 않다. 추출된 특징점 중에서 일부를 재추출하여 특징점 목록에 추가한다. 제안하는 특징점 재추출 과정은 정렬을 이용하는 기존의 방법과는 달리 히스토그램을 통한 근사적인 정렬을 수행하여 특징점 선택의 정확도는 기존의 방법과 유사하지만 자원 사용 및 연산 시간 측면에서는 대폭적인 개선을 보인다. 구현된 특징점 관리 방법은 720 x 480, 60frame/sec 영상 입력에 대해 프레임의 누락 없이 모든 프레임에 대한 특징점 추출 및 재추출의 과정을 수행함을 확인하였다. 이를 통하여 추적 과정 중에 일정한 개수의 특징점이 매 프레임 안정적으로 유지되었다.
more초록/요약
This thesis presents an implementation of feature extraction and management operation for FPGA-based KLT(Kanade-Lucas-Tomasi) feature tracker. In KLT tracker, feature points are continuously lost during tracking operation due to changes of illumination, motion blurring, movement of object or camera, and occlusions. To make the tracker gathers sufficient information from environment, feature extraction and management should be performed for compensation of lost features. In feature extraction stage, to alleviate the problems by illumination changes and to achieve uniform distribution of feature points, intensity-normalized corner response is employed. Since the normalization is implemented by LUT(look-up table), additional FPGA resources and computational power is negligible. In the feature management stage, the proposed method reselects new feature points using histogram-based thresholding, rather than sorting which is used in the conventional method. Hence, accuracy of the reselection is slightly diminished while adequate improvement in resource consumption and computational time is achieved. For input video of 720£480 resolution and 60 frames/sec, feature extraction and management are performed without skipping any frames. Experimental results confirm that feature extraction and management is performed with sufficient accuracy and in real-time.
more목차
1. 서론 = 1
1.1 연구 배경 = 1
1.2 관련 연구 = 3
1.3 시스템 개요 = 4
1.4 논문의 구성 = 5
2. KLT 특징 추적기 = 6
2.1 특징점의 추출 = 6
2.1.1 Harris 코너 검출기 = 6
2.1.2 코너 응답의 밝기값에 의한 정규화 = 9
2.1.3 로그 배율(log scale) 히스토그램을 이용한 임계값 설정 = 14
2.2 변위 벡터 추정과 특징점의 소실 = 15
2.3 특징점의 관리 = 17
2.3.1 특징점과 코너 사이의 겹침 확인 = 17
2.3.2 추가할 코너의 수를 결정하기 위한 임계값 설정 = 19
3. 추적 시스템의 하드웨어 구현 = 22
3.1 특징점 추출의 하드웨어 구조 = 23
3.1.1 에지 정보 추출 및 LUT를 이용한 정규화 = 23
3.1.2 코너 추출 = 26
3.2 변위 벡터 추정의 하드웨어 구조 = 27
3.3 특징점 관리 하드웨어 구조 = 28
3.3.1 특징점과 코너 사이의 겹침 확인 = 30
3.3.2 추가할 코너의 수를 결정하기 위한 임계값 설정 = 31
3.3.3 Block RAM 컨트롤 = 33
4. 실험 결과 밑 분석 = 35
4.1 특징점 추출 = 35
4.2 특징점 관리 = 40
5. 결론 및 추후과제 = 43
참고문헌 = 45
