To accomplish assembly tasks successfully with adapting to their changes, it is essential to accurately estimate and compensate the shape of a part, the distance from a sensor to a part, and the misalignment in position and orientation between mating parts, caused by uncertainties such as modeling errors, control errors and manufacturing tolerances. However, it is difficult to discern their information with respect to mating parts with complicated cross-sectional shapes, in contrast with relatively simple cross-sectional shapes. Therefore, it requires an omni-directional information instead of a local information in order to obtain these information. To this end, assembly requires an omni-directional sensing system that is capable of obtaining not only 2p relative geometrical information between mating parts along their mating boundary interfaces, but also a 2p image of a part, regardless of the complexity of the shape. This need motivates the development of a new sensing method for detecting misalignments generated in assembling parts with complicated shapes. In the area of assembly, such a method has not been fully developed yet; mostly, only local sensing techniques using proximity, tactile, force, and vision sensors have been developed, and they are also not suited for assembling parts with complicated shapes because they need an additional motion and a complex image composition to obtain the omni-directional information.
This thesis proposes a new omni-directional image sensing system capable of immediately obtaining a 2p coaxial image without self-occlusion between mating parts and accurately estimating the shapes of a part, the distance from the sensor to the part and the relative misalignment between mating parts, with respect to the 2p coaxial image. This sensing system was designed by an analytical method and implemented by utilizing a camera encompassed with an optical unit, consisting of a pair of conic mirrors and a pair of plane mirrors, attached to the front part of the camera. The sensor*s characteristics have been investigated theoretically and experimentally and a series of simulations and experiments are also carried out, in order to show its feasibility as a sensor for assembly. As a result, the good performances are obtained; the distance estimation error less than 0.5mm, the misalignment estimation error less than 0.3mm and the orientation estimation error less than 0.5˚.
In addition, we have proposed some effective techniques to realize this sensing system; a learning based calibration scheme to accurately estimate the constitutive parameters of an optical unit consisting of a camera and n-mirrors, a depth estimation method from distortion to estimate the shape of a part and the distance from the sensor to the part with only one image, a robust method to segment a peg and a hole in noisy 2p co-axial misalignment image without a priori shape information of a peg and a hole in order to estimate the misalignment between mating parts, and thus and a general model to describe a distortion feature of an optical unit consisting of a camera and a pair of a convex mirror and a concave mirror.
Through these techniques, the position estimation accuracy of the sensing system has been improved to 89.9% and the distortion features generated in the proposed sensing system have been thoroughly investigated.
조립작업을 성공적으로 수행하기 위해서, 조립부품의 형상과 그것까지의 거리 그리고 modeling과 제어오차, 가공오차등과 같은 불확실성등에 의해서 기인한 조립부품사이의 위치및 각도오차를 정확하게 추정하고 이를 보정하는 하여야 한다. 그러나 이 정보들의 추정은 단순한 대칭형상의 단면을 갖는 부품과는 달리 복잡한 형상의 경우는 그리 쉽지 않다. 복잡한 형상에 대한 이들 정보의 추정을 위해서는 국부적인 정보가 아닌 전방향의 정보를 필요로 한다. 이를 위해서 조립은 형상의 복잡도에 관계없이 이들 정보를 정확하게 얻을 수 있는 전방향 센서가 요구된다. 그런데, 조립분야에서 개발된 근접센서, 접촉센서, 힘센서 그리고 시각센서등과 같은 센서들 대부분이 국부적인 정보를 탐지하는 것으로 전방향을 얻기 위해서은 부가적인 운동 또는 복잡한 합성과정을 필요로 함으로 적합하지 않다. 따라서 이러한 전방향 센서의 필요성과 종전센서들의 문제점들은 새로운 센서의 개발을 필요로 한다.
이 논문은 임의의 단면형상을 갖는 조립부품사이의 전방향의 상대오차 영상을 자기페색(self-occlusion)없이 즉시 얻을 수 있으며, 이 전방향 영상에 대해서 조립부품의 형상과 거리를 추정하고 조립부품사이의 위치 및 각도의 상대오차를 정확하게 추정할 수 있는 새로운 전방향 센서를 제안한다. 그리고 이 센서는 해석적 방법에 대해서 설계되었으며, 하나의 카메라와 이를 둘러싼 한쌍의 원뿔거울과 한쌍의 평면거울로 구성된 광학계를 이용하여 이 센서를 구현하였다. 그리고 이 센서의 특성을 이론 및 실험적으로 규명하였으며 거리및 형상추정 기능과 정렬오차추정 기능을 갖춘 전방향센서로서의 가능성을 보이기 위해서 일련의 시뮬레이션과 실험을 수행하였으며 그 결과 거리는 0.5mm이하 그리고 정렬오차는 0.3mm, 각도는 0.5˚ 이하의 좋은 성능을 얻을 수 있었다.
한편, 이 센서의 실현을 위해서 다음과 같이 몇가지 효율적인 방법을 제안 하였다. 먼저, 이 센서의 정확도 향상을 위해서 다단거울과 카메라로 구성된 광학계의 캘리브레이션을 위한 학습적 방법, 부품의 형상추정과 그것까지의 거리를 추정하기 위해서, 왜곡현상을 이용한 거리추정방법, 잡음을 포함한 조립부품의 전방향 영상에서 사전에 그 형상에 대한 정보없이 페그(peg)와 홀(hole)을 신속하게 구분하는 강건한 방법등을 제시하였으며 이 센서의 광학계를 일반화 시킨 볼록거울과 오목거울의 조합에 의해서 발생되는 왜곡현상을 모델링하였다. 이 방법을 이용하여, 이 센서의 위치오차를 89.9%정도 향상시켰으며, 원뿔거울쌍으로 이루어진 이 센서의 왜곡의 발생원인과 그 현상을 규명하였다.
