검색 상세

중복된 영역이 없는 스테레오 카메라의 핸드-아이 캘리브레이션

Hand-Eye Calibration for Non-Overlapping Stereo Camera

  • 이수빈 (미디어공학과 미디어공학전공)

초록/요약

카메라는 실세계의 영상 정보를 획득하는 입력 장치로써, 3차원 복원, 움직이는 물체의 추적, 로봇 내비게이션 등을 하기 위해서는 두 대의 스테레오 카메라가 사용된다. 이러한 작업들을 수행하기 위해서는 먼저 사용하는 카메라의 특성을 알아야 하는데, 이러한 특성은 몇 개의 인자들로 표현된다. 이러한 인자들을 앎으로서, 우리는 주어진 카메라를 통해 어떻게 전방의 3차원 장면(scene)이 평면 이미지로 맺혀지는지(projection) 알 수 있는데, 이 인자들을 구하는 작업을 카메라 캘리브레이션이라고 한다. 특히 스테레오 카메라 사이의 상대적인 변위를 구하는 것을 스테레오 카메라 캘리브레이션이라고 하며 일반적으로 두 카메라가 동시에 동일한 물체를 바라보게 함으로서 두 영상 사이의 대응점을 이용하여 캘리브레이션을 수행한다. 본 논문에서는, 그러한 두 영상 사이의 대응점이 없는 경우, 즉 두 카메라가 서로 다른 곳을 바라봐서 시야가 겹치지 않는 스테레오 카메라 사이의 상대적 변위를 계산하는 방법을 제안한다. 스테레오 카메라 사이에 중복된 영역이 없으므로 대응점을 이용한 일반적인 스테레오 카메라 캘리브레이션은 불가능하다. 따라서 본 논문에서는 주로 로봇 비전에서 로봇 팔의 좌표계와 그곳에 부착된 카메라 좌표계 사이의 보정을 위한 핸드-아이 캘리브레이션을 서로 다른 좌표계를 가지는 스테레오 카메라 사이의 보정을 위해 적용하였다. 이전의 핸드-아이 캘리브레이션 연구들이 두 좌표계 사이의 회전과 이동을 계산하였다면, 본 논문에서는 회전과 이동뿐만 아니라 스케일까지 계산한다. 본 논문에서는 두 가지 방법을 제안한다. 첫 번째 방법은 최소 자승법을 이용한 스테레오 카메라 핸드-아이 캘리브레이션으로, 먼저 최소 자승법을 적용하여 회전을 추정하고 추정된 회전을 이용하여 이동과 스케일을 계산하는 것이다. 최소 자승법은 측정 값을 기반으로 제곱의 합을 계산하는 것으로 구하고자하는 매개변수를 주어진 데이터를 이용하여 표현할 수 있다는 장점이 있다. 우리는 이 방법을 이용하여 주어진 데이터들로부터 회전을 추정할 수 있다. 두 번째 방법은 분기 한정법을 이용한 스테레오 카메라 핸드-아이 캘리브레이션으로, 회전과 이동(스케일을 포함)의 가중치 합을 이용하여 목적 함수를 정의하고, 이 목적 함수를 최소화하는 것이다. 목적 함수는 회전 행렬의 파라미터화로 인해 비선형(nonlinear)이고 비-볼록(non-convex)하다. 이 연구 방법에서 우리는 회전 공간을 검색하는 분기 한정법을 고안하여 전역적으로 최적의 솔루션을 찾는다. 원칙적으로 회전 공간의 검색은 전체 회전 공간에 대해 이뤄지지만, 제안하는 방법은 분기 한정법의 coarse-to-fine 방식으로 검색 영역을 줄여 계산 시간을 줄일 수 있다. 본 논문에서 제안하는 두 가지 방법을 통해 합성 데이터와 실제 데이터에 대해 적용하여 주어진 스테레오 카메라 사이의 상대적 변위를 계산할 수 있었으며, 이를 통해 스테레오 카메라 장치(stereo camaer rig)의 상대적인 위치를 확인 할 수 있었다. 최소 자승법을 이용한 핸드-아이 캘리브레이션을 적용할 때에는 계산 시간이 빠르다는 것을 알 수 있다. 반면 분기 한정법을 이용한 핸드-아이 캘리브레이션의 경우, 위의 실험 결과보다는 상대적으로 계산 시간이 느리지만 실제 응용 프로그램에서 사용할 수 있을 정도로 충분히 빠르고, 전역적으로 최적의 솔루션을 보장함으로 스테레오 카메라를 이용한 다양한 응용 연구 분야에 적용할 수 있다.

more

초록/요약

A camera is a major sensor which acquires visual information from the real world. In computer vision, especially a set of two (stereo) cameras is used for 3D understanding of a scene such as 3D reconstruction, object tracking, robot navigation and so forth. As a preprocessing of those tasks, the properties of the camera in hand should be known first which are called camera calibration. Knowing those camera properties represented as a number of parameters means to know how the scene in front of the camera is imaged into the image plane via the camera. Especially it is called stereo camera calibration to estimate the relative pose between stereo cameras, which are usually set to view the same objects at the same time to give a set of corresponding image points. In this thesis, we propose stereo camera calibration for the case of no such corresponding points, that is, the case where two cameras view nothing in common. Since the ordinary stereo calibration using the corresponding points is impossible, we have employed so-called hand-eye calibration which is popular in robotics to compute the relation between the coordinate systems of an arm and the camera mounted on a robot. This thesis proposes two methods of finding the relative displacement of two cameras which are rigidly installed but looking divergently; no overlap exists between the two views. We compute the rotation, translation and scale between the two cameras using the motions obtained from the stereo rig. The first one uses the least-square method to estimate rotation first then compute the translation and scale give the rotation. This method estimate the rotation using least-square method and find the translation and scale using the estimated rotation. Least-square is a method to minimize the sum of the squares of the measurement. The second hand-eye calibration method employs branch-and-bound algorithm to find the relative pose which minimize the cost as the weighted sum of error functions in terms of rotation and translation (including scale). This method is to formulate a conceptually meaningful error function and minimize it to obtain a solution. The objective function is nonlinear and non-convex mainly due to the parametrization of the rotation matrix of the displacement. Therefore, it is challenging to attain the global solution of the objective function. We devise a branch-and-bound algorithm that efficiently searches over the rotation space and yields a globally optimal solution. Even though the search is exhaustive in principle, it is practically applicable due to the efficient coarse-to-fine computation of the branch-and-bound algorithm. The proposed two methods have been applied to both synthetic and real data and resulted in the relative displacement between two cameras hence the motion of the stereo camera rig. The first method using least-square is found to be relatively faster than the second one of branch-and-bound. However, the second method still shows the possibility of real-time performance as well as the guarantee of global optimality hence wide applicability to various 3D computer vision problems.

more
반출 Meta View 목록