수화 인식을 위한 변형된 KLT 특징들을 이용한 손 추적 : Hand Tracking Using Modified KLT Features for Sign Language
- 발행기관 서강대학교 대학원
- 지도교수 김경환
- 발행년도 2008
- 학위수여년월 2008. 8
- 학위명 석사
- 학과 및 전공 전자공학과
- 식별자(기타) 000000108523
- 본문언어 한국어
목차
수화 동영상에서는 손은 움직임이 빠르고, 변화가 다양하며, 다른 물체와 겹침이 자주 발생한다. 본 논문은 이 문제를 해결하기 위해 손 영역에서 KLT 특징을 추출하고, 추출된 KLT 특징을 변형하여 강건하게 손을 추적하는 방법을 제안한다. 기존의 추적 방법은 칼만 필터를 이용해 손의 위치를 예측하고, 예측된 위치 영역에서 블록 정합을 통해 추적을 수행한다. 예측된 위치 영역이 겹쳐진 경우 겹침 판단을 하고, 하나의 물체로 추적을 수행한다. 그리고 손이 서로 떨어질 때 다양한 경우의 수를 계산해 겹침 문제를 해결하였다. 이 과정에서 일관성 있는 손
추적에 실패 할 수 있다. 제안하는 시스템은 추적되는 특징들을 이용해 겹침 판단을 하고, 겹쳐지지 않은 손의 나머지 영역에서 특징을 추출함으로써 개별적으로 손을 추적해 겹침 문제를 해결하였다. 제안하는 시스템은 손 검출, 손 영역에서 특징 추출, 손 추적, 잃어버린 특징 갱신으로 이루어진다. 손 검출은 피부 색상 검출 정보와 움직임 정보를 결합하여 손의 후보영역을 탐색한다. 검출된 손 후보 영역에서 KLT 특징을 추출하고, 변형된 KLT 특징을 이용하여 손 추적을 수행한다. 추적 과정에서 잃어버린 특징을 손 영역에서 갱신하기 위해 군집 제약 조건과
영역 갱신 제약 조건을 부여한다. 손의 겹침 탐색은 추적된 특징을 이용하여 판단하고, 이를 이용해 겹침 처리를 수행한다. 이전 프레임에서 추적되는 특징을 모두 잃어버리면 추적 실패라고 판단하고, 손 검출을 다시 수행한다. 이 때 손 검출은 칼만 필터를 이용하여 탐색 영역을 줄여 수행 속도과 정확성을 향상시킨다. 제안하는 시스템의 성능을 검증하기 위해 일반적으로 사용되는 영상에 대해서 실험을 하였다. 실험 결과를 통해서 제안하는 방법이 기존의 방법과 비교하여 손 탐색율과 손을 일관성있게 추적하는 일관성율이 모두 월등히 높음을 확인하였다.
목차
In video sequences, it is hard to track hands well to recognize sign language because hands move fast and hands change various poses and there is frequent occlusion between hand and other object. To solve these problems, this thesis proposes hand tracking method with modified KLT features. Conventional tracking methods have some limits because they treat occluded objects as one object until the end of occlusion. In this thesis, to achieve tracking under occlusion, we propose occlusion detection using tracked features and when occlusion happens, we track each object using extracted features in region that is not occluded by other object. The proposed system has 4 stages: hand detection, features extraction in hand regions, hand tracking, and lost features update. Hand location detects using combined skin color information and motion information. KLT features are extracted from hand regions and each feature is tracked individually using modified KLT features tracker. In tracking stage, lost features are updated using flocking constraints and updated region constraints. To handle the occlusion problem, occlusion is detected and handled using tracked features. If all tracked features are lost, tracking is set to be failed and hand detection is repeated. In this case, Kalman filter is used to reduce search regions and this method performs better and more accurately in the detection phase. Experiments on general video sequences of several hundred frames in duration demonstrate the
proposed system''s ability compared to the conventional system''s ability. The proposed system''s ability tracks hands robustly and extracts the trajectories of hand motion.
