This dissertation lays a path planning method in the image space for image-based visual servoing. Image-based visual servoing is a control scheme where two-dimensional image features are directly used as control inputs to a robot system. Because of the direct visual feedback, three-dimensional pose estimation is not necessary and the positioning accuracy is insensitive to calibration parameters compared to position-based visual servoing. Although image-based visual servoing exhibits superior performance, however, it shows fatal limitations when initial pose discrepancy is large. The feature points may leave the camera`s field of view and, also, the robot may not converge to the goal configuration. One possible approach to resolve these limitations is to construct a number of intermediate subgoal images of the gripper such that they can define a straight path so as to keep the feature points always within the field of view during the task. Under the assumption that only the initial and goal gripper images are given without any metric information, a novel method within a projective framework to generate such a straight path is proposed. The proposed method synthesizes physically valid intermediate subgoal images based on screw-motion constructions, which are represented in the projective space with the help of the fundamental properties of projective geometry. An important benefit in using a projective framework is that we always obtain the same images no matter how the projective frame is selected. To exclude erroneous estimations due to the image noise in the projective displacement, computational issues are also considered by adding cost functions for a nonlinear optimization. The cost functions are derived from the fact that the undergoing projective displacement is conjugated to an unknown Euclidean displacement.
The main idea is extended to take the mechanical constraints into account to make the resultant image trajectories are acceptable to real manipulators. The virtual grippers are constructed in a straight path such that their orientations are adjusted so as not to encounter the mechanical constraints. This is achieved with an orientation generating operator (OGO) defined in the projective space by introducing an additional image of the gripper. The robot configuration is represented and planned in the OGO parameter space with consideration of the mechanical constraints.
An obstacle avoiding path is also considered introducing a curved line instead of the straight line. It is difficult, in general, to define physically meaningful curves in the projective space, or perspective drawings. For this reason, a supporting projective plane on which two orthogonal vanishing points can be found is selected and rectified ro remove the perspective distortions. A trajectory of a point for obstacle avoidance is then generated on the rectified plane based on the potential field approach, and the resulting curved line is transformed onto the original projective space to give an obstacle avoiding path for the gripper.
The validity of the proposed approach is demonstrated through computer simulations and experiments. It is shown that the projective framework allows image synthesis to be made without any metric information or calibration processes, which is a particular advantage of the method.
본 논문은 영상 기반 시각 제어를 위한 영상 공간상의 경로 계획 방법을 다룬다. 영상 기반 시각 제어는 2차원 영상의 특징 점들이 직접 로봇 시스템의 제어 입력으로 사용되는 제어 구조를 말한다. 이와 같은 영상 정보의 직접 궤환 구조 덕분에 영상 기반 시각 제어에서는 위치 기반 시각 제어에 비해 불확실한 시스템 모델을 가지고도 보다 정밀한 위치 제어가 가능하고 3차원 위치의 복원이 필요 없게 된다. 이렇게 우수한 특성들이 있음에도 불구하고 초기 오차가 큰 환경에 대해서는 몇 가지 치명적인 약점을 보인다. 작업이 이루어지는 동안 특징 점들이 카메라의 시야를 벗어난다는 것과 큰 초기 오차에 대해서는 목표지점에 도달하지 않을 수 있다는 문제가 그것이다. 이 문제는 영상 기반 시각 제어에서 영상 공간과 제어 입력 공간 사이의 비 선형 관계를 무시하고 단순히 이들 사이의 쟈코비안 (Jacobian) 만을 이용하기 때문에 발생한다. 이 문제를 해결하기 위해 본 논문에서는 로봇 그리퍼(Gripper)가 목표 자세까지 직선 경로를 따라 도달할 수 있는 그리퍼의 중간 목표 영상들을 생성한다. 이것은 만일 초기 그리퍼와 목표 그리퍼가 작업 환경내의 고정된 카메라의 영상 범위 안에 모두 존재한다면 직선 경로로 움직이는 동안 카메라의 시야에서 벗어나지 않는다고 가정할 수 있기 때문이다. 제안된 방법에서는 어떠한 3차원 정보도 없고 주어진 카메라의 캘리브레이션이 이루어지지 않은 환경에서 그리퍼의 초기와 목표 영상들만을 가지고 3차원 물체인 그리퍼의 중간 목표 영상들을 생성한다. 이를 위하여 먼저 중간 자세에 해당하는 가상의 그리퍼들을 프로젝티브 공간상에서 생성하는데 이것은 프로젝티브(Projective) 기하학의 특성들을 이용하여 3차원 강체의 변위(Displacement)에 해당하는 프로젝티브 변위들을 합성함으로써 이루어진다. 이렇게 생성된 프로젝티브 공간상의 가상 그리퍼들에 초기에 임의로 가정한 프로젝션 행렬을 곱하여 영상 평면상의 그리퍼 영상들을 얻게 된다. 제안된 방법에서와 같이 프로젝티브 공간을 이용하는 방법의 특징 중의 하나는 어떠한 조합으로 프로젝티브 좌표계를 대표하는 프로젝션 행렬과 프로젝티브 변위를 정하더라도 동일한 영상을 얻는다는 것이다. 본 방법의 성공적인 수행을 위하여 영상 잡음에 강인한 프로젝티브 변위를 구할 수 있는 비 선형 최적화의 목적 함수들도 새롭게 제안된다. 또한 추가적인 그리퍼의 영상이 주어졌을 때 가상 그리퍼의 자세를 임의로 설정 할 수 있는 자세 생성자 (Orientation Generating Operator, OGO)를 정의하여 관절 제한치 회피 등 로봇의 기구적인 제한을 벗어나야 하는 작업에 이용될 수 있음을 보였다. 로봇 작업의 목표가 자세 생성자의 인자 공간에서 정의되고 작업이 수행되는 동안 로봇의 자세가 기구적인 제한으로부터 자유롭도록 인자가 결정되어 최종 목표에 도달할때까지 기구적 제한을 받지 않는 자세의 경로를 생성하는 것이다. 마지막으로 장애물에 의해 직선 경로가 불가능할 경우 장애물을 회피할 수 있는 곡선 경로 계획 방법이 제시된다. 비록 거리의 개념이 상실된 프로젝티브 공간에서 의미 있는 곡선 궤적을 찾기는 쉽지 않은 문제지만 프로젝티브 기하학으로부터 두개의 수직 소실점을 얻을 수 있는 프로젝티브 평면을 찾아 원근 왜곡이 없는 평면으로 변환함으로써 장애물 회피 경로를 생성할 수 있음을 보인다. 방법의 실효성 검증을 위해 컴퓨터 모의 실험과 실제 영상을 통한 실험이 수행되었으며 프로젝티브 기반 방법으로 인해 카메라의 캘리브레이션 과정이나 3차원 자세 정보 없이도 3차원 물체의 원하는 자세에 대한 영상을 얻을 수 있음을 보였다.
