추적중인 객체간 겹침 문제 해결을 위한 DTW거리 기반의 객체 정합
Object association using DTW distance for occluded object tracking
- 주제(키워드) tracking , occlusion
- 발행기관 서강대학교 일반대학원
- 지도교수 김경환
- 발행년도 2009
- 학위수여년월 2009. 2
- 학위명 석사
- 실제URI http://www.dcollection.net/handler/sogang/000000044915
- 본문언어 한국어
초록/요약
본 논문에서는 카메라를 이용한 객체 추적 과정에서 발생하는 겹침 문제의 해결을 위한 객체 정합 방법을 제안한다. 제안하는 객체 추적 시스템은 크게 객체 추출, 객체 추적, 겹침 해결의 세 단계로 구성된다. 제안하는 방법에서는 객체 영역의 추출을 위해 초월 화소 단위의 가우시안 혼합 모델과 무게 중심 모델을 사용한다. 객체 추출의 후처리 과정인 그림자 제거는 신경 회로망 기반의 분류기를 통해 수행한다. 객체 검출 실패로 인한 부정 오류 및 그림자로 인해 발생하는 긍정 오류는 이상의 두 가지 배경 모델을 통한 객체 검출 및 그림자 제거를 통해 효과적으로 줄일 수 있다. 제안하는 방법은 일련의 과정을 통해 긍정, 부정 오류를 줄여 객체 추적 시스템의 신뢰도 및 안정도를 향상시킬 수 있다. 객체 추적과정은 연속된 프레임에서의 동일 객체에 대한 ID 인계, 객체간 겹침 및 겹침 해제 판단의 단계를 통해 수행된다. 추적 중인 객체 사이에 겹침이 발생하면 겹침 전후의 객체 특징을 추출한다. 본 논문에서는 객체 영역의 횡 방향 평균 칼라의 종 방향 배열을 통해 객체의 특징을 정의한다. 추출된 특징간의 비교는 사람의 움직임에 의해 발생하는 특징 배열의 변화를 수용할 수 있는 DTW(Dynamic Time Warping) 기법을 이용한 거리 측정을 통해 수행한다. 제안하는 객체의 특징을 이용한 비교 방법은 기존의 칼라 기반 방법이 해결하지 못하는 객체 영역 내 전역적 칼라 성분이 비슷한 객체간의 구분이 가능하다. 칼라히스토그램 방법과의 비교 실험 결과를 통해 제안하는 방법의 객체 정합 정확도를 입증하였다.
more초록/요약
This thesis proposes an object association method for occlusion handling in camerabased object tracking system. The system under consideration is composed of three stages: object extraction, object tracking and occlusion handling. The proposed method for the object extraction employs super-pixel-based color Gaussian mixture model and center of mass model. As a post-processing in object extraction, shadow removal is performed by adopting a neural network. The rate of both of false positive and false negative in object extraction is reduced by the two processes and results in significant improvement of reliability of object extraction stage. The object tracking stage is to hand-over ID for the same object between consecutive frames and detection of occlusion and separation of objects. The occlusion handling stage consists of the feature extraction and the feature matching. The proposed feature is defined by vertical arrangement of horizontal colored strips which is effective for tracking humans as objects. Similarity between objects are measured by DTW(Dynamic Time Warping) distance of the features to compensate local deformation of non-rigid objects. The proposed method for occlusion handling resolves spatial ambiguity in color-based methods. By experimental results, the proposed method of object association is proven to be effective without too much sacrifice of computational costs, and excels in accuracy of object association.
more목차
제1장 서론 = 1
1.1 연구 목적 = 1
1.2 관련 연구 = 2
1.3 제안하는 객체 추적 시스템 = 3
1.3.1 전경 추출, 추적 객체 검출 = 4
1.3.2 객체 경계 상자를 이용한 이전 프레임 객체와의 정합 = 5
1.3.3 겹침 및 겹침 해제 판단 = 5
1.3.4 객체 특징 추출 = 5
1.3.5 DTW를 이용한 특징간 유사도 측정 = 6
1.3.6 동일 객체에 대한 일관된 객체 추적 = 6
1.4 논문의 구성 = 6
제2장 추적 객체 추출 = 7
2.1 배경 추정 = 8
2.1.1 CIE La*b*칼라 모델 = 8
2.1.2 초월 화소 단위의 칼라 가우시안 모델 = 9
2.1.3 무게 중심 모델 = 12
2.2 전경 추출 = 15
2.3 그림자 제거 = 16
2.3.1 실내 환경에서의 그림자 양상 = 17
2.3.2 학습을 통한 그림자 영역의 제거 = 18
2.4 객체 영역 정의 및 병합 = 19
제3장 객체간 겹침 처리 = 22
3.1 객체 추적 = 22
3.2 객체간 겹침 및 겹침 해제 판단 = 23
3.3 추적 객체간 겹침 발생시 DTW를 이용한 객체간 특징 비교 = 26
3.3.1 객체의 특징 정의 = 27
3.3.2 DTW를 이용한 특징 패턴간의 비교 = 28
3.3.3 DTW 최소 거리 경로의 제약 조건 = 31
3.3.4 정규화된 DTW를 이용한 객체간 유사도 판단 = 32
제4장 실험 결과 및 분석 = 35
4.1 실험 환경 = 35
4.2 전경 추출 결과 = 35
4.3 DTW 유사도 판단 결과 = 37
4.4 겹침 처리 결과 = 41
4.5 객체 추적 처리 시간 = 47
제5장 결론 및 추후 연구 과제 = 48
참고문헌 = 50
그림차례
1.1 제안하는 시스템의 전체 블록 다이어그램 = 4
2.1 추적 객체 추출 블록 다이어그램 = 7
2.2 P1 픽셀의 칼라 변화: (a) 실험 영상, (b) P1에서의 칼라 성분 분포 양상, (C) 동일 위치에서 n×n 초월 화소 단위의 칼라성분 분포 양상 = 11
2.3 물체계: (a) 물체계 내의 물체 선운동량, (b) 물체 운동의 기술 = 13
2.4 무게 중심 모델: (a) 밝기 분포에 따른 무게 중심, (b) 객체 출현에 의한 무게 중심의 이동 = 14
2.5 실내 환경에서 발생하는 그림자: (a) 일반적인 그림자, (b) 객체 출현에 의한 무게 중심의 이동 = 14
2.6 그림자 검출을 위한 교사자료: (a)입력 영상, (b) 전경 영상, (c)객체와 그림자의 분류 = 18
2.7 그림자 제거: (a) 입력 영상, (b) 전경 영상, (c) 그림자가 제거된 객체 영상 = 18
2.8 객체 영역 정의: (a) 입력 영상 (b) 전경 영상, (c) 추적 대상의 경계 상자 = 19
2.9 분리된 개체의 병합: (a) 확장된 객체 영역, (b) 병합된 객체 영역, (c) t번째 프레임과 t-1번째 프레임에서의 객체 영역, (d) 병합된 객체 영역 = 20
3.1 연속하는 프레임에서 동일 객체 판단 = 23
3.2 겹침 및 겹침 해제 판단: (a) 겹침 판단, (b) 겹침 해제 판단 = 25
3.3 객체의 특징 정의 = 28
3.4 Reference 열과 Test열간의 DTW 지도 = 29
3.5 누적 거리 지도 생성 = 30
3.6 위치에 따른 객체의 크기 = 32
3.7 정규화된 DTW 최소 거리 경로: (a) 참조 영상과 실험 영상, (b) 누적 거리 지도, (c) 최소 거리 경로 = 33
3.8 겹침 발생시 DTW를 이용한 객체간 거리 측정 예: (a) 961번째 프레임에서의 두 객체(겹침 발생 전), (b) 976번째 프레임에서의 두 객체(겹침 해제후), (c) 겹침 전후의 객체에 대한 DTW거리 측정 = 34
4.1 다양한 환경에서의 전경 추출 결과: (a) 입력 영상, (b) 실제 객체 영역(ground truth). (c) 가우시안 혼합 모델을 통한 객체 추출 결과, (d) 제안하는 방법을 통한 객체 추출 결과 = 36
4.2 다양한 환경에서의 전경 추출 결과: (a),(d),(g),(j) 입력 영상, (b),(e),(h),(k) 가우시안 혼합 모델을 통한 객체 추출 결과, (c),(f),(i),(l) 제안하는 방법을 통한 객체 추출 결과 = 38
4.3 다양한 환경에서의 전경 추출 결과: (a),(d),(g),(j) 입력 영상, (b),(e),(h),(k) 가우시안 혼합 모델을 통한 객체 추출 결과, (c),(f),(i),(l) 제안하는 방법을 통한 객체 추출 결과 = 39
4.4 다양한 환경에서의 전경 추출 결과: (a),(d),(g),(j) 입력 영상, (b),(e),(h),(k) 가우시안 혼합 모델을 통한 객체 추출 결과, (c),(f),(i),(l) 제안하는 방법을 통한 객체 추출 결과 = 40
4.5 칼라 히스토그램 기법과의 비교: (a) 참조 영상,(b) 실험 영상, (c) 칼라 히스토그램 결과, (d) DTW 결과 = 41
4.6 DTW 거리 측정 결과: (a) 다른 시야각에서의 동일 객체, (b) 동일 시야각 에서의 손상된 객체, (c) 다른 시야각에서의 손상된 객체 = 42
4.7 다양한 실험 객체와의 DTW 거리 측정 결과 = 43
4.8 객체 추적 결과: 실험 영상 set-corridor frame #686 ~ 731 = 44
4.9 객체 추적 결과: 실험 영상 set-classroom1 frame #1174 ~ #1291 = 45
4.10 객체 추적 결과: 실험 영상 set-classroom2 frame #633 ~ #699 = 46
표차례
3.1 객체 상태 판정 의사 코드 = 24
3.2 객체 상태 조건 및 동작 = 24
3.3 DTW algorithm = 29
4.1 전경 추출 정확도 비교 = 36
4.2 객체 추적 처리 시간 = 47
